[논문 리뷰] Learning Compositional Visual Concepts with Mutual Consistency

Yunye Gong, Srikrishna Karanam외 4명|arXiv (Cornell University)|2017. 11. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 7

한 줄 요약

이 논문은 서로 다른 여러 생성적 적대적 네트워크(GAN) 간의 상호 일관성에 기반해 시각적 개념을 학습하는 ConceptGAN 프레임워크를 제안한다. 이는 데이터가 부족한 서브도메인에서도 의미 있는 이미지 합성을 가능하게 하며, 형태, 조명, 질감과 같은 개념 조합에 대해 순환 일관성을 강제하여, 모든 개념 조합의 공동 훈련 데이터가 필요 없이도 강건한 데이터 증강과 전이 학습을 가능하게 한다.

ABSTRACT

Compositionality of semantic concepts in image synthesis and analysis is appealing as it can help in decomposing known and generatively recomposing unknown data. For instance, we may learn concepts of changing illumination, geometry or albedo of a scene, and try to recombine them to generate physically meaningful, but unseen data for training and testing. In practice however we often do not have samples from the joint concept space available: We may have data on illumination change in one data set and on geometric change in another one without complete overlap. We pose the following question: How can we learn two or more concepts jointly from different data sets with mutual consistency where we do not have samples from the full joint space? We present a novel answer in this paper based on cyclic consistency over multiple concepts, represented individually by generative adversarial networks (GANs). Our method, ConceptGAN, can be understood as a drop in for data augmentation to improve resilience for real world applications. Qualitative and quantitative evaluations demonstrate its efficacy in generating semantically meaningful images, as well as one shot face verification as an example application.

연구 동기 및 목표

• 공동 분포 샘플이 확보되지 않은 불완전하고 분리된 데이터셋에서 시각적 개념을 학습하는 도전 과제를 해결한다.
• 모든 개념 조합의 공동 훈련 데이터가 없는 서브도메인에 대해서도 상호 일관성의 활용을 통해 의미 있는 이미지 합성과 데이터 증강을 가능하게 한다.
• 특성 간 의미적 관계를 유지하는 조건부 이미지 합성을 통해 실제 환경에서 모델의 강건성을 향상시킨다.
• 개념 조합에 대한 그래프 기반 반복 추론을 통해 다수의 개념으로 프레임워크를 일반화한다.
• 얼굴 인식을 사전 작업으로 삼아, 개념 기반 데이터 증강을 통한 정확도 향상을 입증함으로써 방법의 유효성을 입증한다.

제안 방법

• 각 GAN이 하나의 시각적 개념(예: 조명, 형태, 질감)을 학습하는 다중 GAN 간 순환 일관성 문제로 개념 학습을 공식화한다.
• 예: 색상 → 선형도, 가방 → 신발 등 쌍으로 이루어진 개념 간에 4노드 순환 일관성 제약 조건을 적용하여 개념 변환 간 상호 호환성을 확보한다.
• 순환 일관성($\mathcal{L}_{\text{comm}}$)과 거리-4 순환 일관성($\mathcal{L}_{\text{cyc4}}$)을 조합한 복합 손실 함수를 도입하여 훈련 안정성과 생성 품질을 향상시킨다.
• 개념 조합을 초입방정식의 정점으로 표현한 그래픽 모델을 사용하며, 관측된 정점(데이터가 있는 경우)을 기반으로 순환 제약 조건을 통해 관측되지 않은 정점의 추론을 가능하게 한다.
• 관측된 정점에서의 거리 순으로 새로운 개념 조합을 반복적으로 탐색함으로써 $n$개의 개념으로 일반화하며, 확장 가능한 근사 추론을 가능하게 한다.
• 학습된 개념 매핑을 활용해, 단지 개념별 GAN과 일관성 제약 조건만을 사용하여 이전에 관측되지 않은 도메인(예: 신발의 선도)에서 이미지를 합성한다.

실험 결과

연구 질문

• RQ1 공동 분포 샘플이 없는 분리된 데이터셋에서 시각적 개념을 함께 학습할 수 있는가?
• RQ2 다수의 시각적 개념 간의 상호 일관성을 어떻게 확보하여 이미지 합성에서 의미적 일관성을 유지할 수 있는가?
• RQ3 순환 일관성 제약 조건이 훈련 데이터가 없는 서브도메인에서도 현실적인 이미지를 생성하는 데 얼마나 효과적인가?
• RQ4 제안된 방법이 얼굴 인식과 같은 후행 작업에 효과적인 데이터 증강 전략이 될 수 있는가?
• RQ5 스케일이 잘 되고 효율적인 방식으로 두 개 이상의 개념으로 프레임워크를 일반화할 수 있는가?

주요 결과

• 모든 손실 성분인 $\mathcal{L}_{\text{comm}}$와 $\mathcal{L}_{\text{cyc4}}$를 포함한 전체 모델은 얼굴 인식의 랭크-1 성능이 16.9%를 기록하여, 이러한 구성 요소가 없는 모델보다 뛰어난 성능을 보였다.
• $\mathcal{L}_{\text{cyc4}}$가 없는 경우 얼굴 인식 정확도가 12.1%로 하락하여, 순환 일관성이 의미적 구조를 유지하는 데 핵심적인 역할을 함을 입증했다.
• 전체 손실을 사용한 경우 속성 분류 정확도가 66%에 도달했으며, $\mathcal{L}_{\text{cyc4}}$가 없는 경우는 18%에 머물러, 더 나은 분리 및 일반화 성능을 확인했다.
• 정성적 결과에서는, CycleGAN과 같은 기존 방법보다 전체 모델이 더 높은 품질과 더 의미적으로 일관된 이미지(예: 신발의 선도)를 미관측 도메인에서 생성했다.
• 학습된 GAN을 사용해 $128 \times 128$ 해상도의 이미지를 성공적으로 합성하여, $64 \times 64$ 훈련 해상도를 초월한 확장성을 입증했다.
• 반복 추론 기반의 방법은 관측되지 않은 개념 조합(예: 3개의 개념 그래프에서 노드 7)을 회복할 수 있었으며, $n > 2$ 개념으로의 일반화 가능성을 입증했다.