[논문 리뷰] DualDis: Dual-Branch Disentangling with Adversarial Learning

Thomas Robert, Nicolas Thome외 1명|arXiv (Cornell University)|2019. 06. 03.

Digital Media Forensic Detection참고 문헌 45인용 수 4

한 줄 요약

DualDis는 적대적 훈련을 통해 클래스와 속성 정보를 별도의 선형 잠재 하위공간으로 분리하는 이중 브랜치 오토인코더를 제안한다. 적대적 분류기를 사용해 수직 분리를 강제함으로써 정밀한 의미적 이미지 편집과 효과적인 준지도 학습 데이터 증강을 가능하게 하여, CelebA에서 최고 성능을 기록하고 Yale-B에서 생성된 데이터를 사용할 경우 정확도를 10% 향상시켰다.

ABSTRACT

In computer vision, disentangling techniques aim at improving latent representations of images by modeling factors of variation. In this paper, we propose DualDis, a new auto-encoder-based framework that disentangles and linearizes class and attribute information. This is achieved thanks to a two-branch architecture forcing the separation of the two kinds of information, accompanied by a decoder for image reconstruction and generation. To effectively separate the information, we propose to use a combination of regular and adversarial classifiers to guide the two branches in specializing for class and attribute information respectively. We also investigate the possibility of using semi-supervised learning for an effective disentangling even using few labels. We leverage the linearization property of the latent spaces for semantic image editing and generation of new images. We validate our approach on CelebA, Yale-B and NORB by measuring the efficiency of information separation via classification metrics, visual image manipulation and data augmentation.

연구 동기 및 목표

• 이미지 데이터에서 신원(클래스)과 시각적 속성 정보를 명시적으로 분리하는 분리 표현 학습 프레임워크를 개발하는 것.
• 잠재 공간에서 클래스와 속성 요소 간의 수직성을 적대적 훈련을 통해 강제하는 것.
• 각 잠재 하위공간 내의 변동 요소를 선형화하여 효과적인 의미적 이미지 조작 및 생성을 가능하게 하는 것.
• 제한된 레이블을 가진 환경에서도 강력한 분리 성능를 유지하면서 준지도 학습을 가능하게 하는 것.
• 의미적 데이터 증강을 통해 실용적 유용성을 입증하는 것.

제안 방법

• DualDis는 신원(클래스)을 인코딩하는 브랜치와 속성을 인코딩하는 브랜치를 가진 이중 브랜치 인코더-디코더 아키텍처를 사용하며, 각 브랜치는 전용 분류기로 안내된다.
• 적대적 분류기가 각 잠재 공간에서 반대 도메인의 정보를 탐지하도록 훈련되어, 인코더가 교차 도메인 신호를 제거하고 분리를 달성하도록 유도한다.
• 재구성 손실은 복합 잠재 코드에서 현실적인 이미지를 생성할 수 있도록 보장한다.
• 선형 분류기를 사용해 각 잠재 하위공간 내의 요소를 선형화하여 벡터 산술을 통한 의미적 탐색을 가능하게 한다.
• 준지도 학습은 레이블이 없는 데이터를 훈련 중 활용하여 레이블 의존도를 줄이는 데 적용된다.
• 신원을 유지하면서 속성 잠재 코드를 학습된 선형 방향에 따라 수정함으로써 이미지 편집을 수행한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 공유된 이미지 표현에서 클래스와 속성 요소를 효과적으로 분리할 수 있는가?
• RQ2 잠재 하위공간 간의 수직성을 강제하면 분리 품질과 후행 분류 정확도가 향상되는가?
• RQ3 선형화된 잠재 공간이 벡터 산술을 통해 얼마나 정밀한 의미적 이미지 편집을 가능하게 하는가?
• RQ4 준지도 학습을 통해 제한된 레이블로도 DualDis가 강력한 분리 성능를 달성할 수 있는가?
• RQ5 모델에서 생성된 이미지를 의미적 데이터 증강에 활용하면 신원 분류 정확도가 향상되는가?

주요 결과

• DualDis는 CelebA에서 최고 성능의 분리 성능를 기록했으며, 신원과 속성에 대한 높은 분류 정확도를 확보했다.
• Yale-B 데이터셋에서, 각 클래스당 60장의 생성 이미지를 사용한 데이터 증강으로 신원 분류 정확도가 약 10% 향상되었다.
• 학습된 선형 방향을 따라 성별, 안경 착용 여부, 미소 강도 등의 속성을 수정함으로써 의미적 이미지 편집을 성공적으로 수행했다.
• 한 이미지의 신원과 다른 이미지의 속성을 조합해도 자연스럽고 의미적으로 일관된 결과를 도출했으며, 효과적인 분리가 이루어졌음을 확인했다.
• 준지도 학습은 레이블 수가 적은 환경에서도 강력한 분리 성능를 유지했으며, 레이블 부족에 대한 강건성을 입증했다.
• 선형화된 잠재 공간은 미소 강도나 헤어 컬러 강도와 같은 속성 변화를 세밀하게 제어할 수 있도록 했다.