[논문 리뷰] FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery

Krishna Kumar Singh, Utkarsh Ojha외 1명|arXiv (Cornell University)|2018. 11. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 60인용 수 4

한 줄 요약

FineGAN은 잠재 코드에 정보 이론적 제약 조건을 적용하여 배경, 객체 형태, 외관을 계층적으로 분리하는 비지도 학습 GAN 프레임워크로, 사실적인 미세 분류 이미지 생성과 비지도 미세 분류 객체 카테고리 발견을 가능하게 한다. CUB, Stanford Dogs, Stanford Cars 데이터셋에서 JULE 및 DEPICT와 같은 기존 방법들을 능가하는 NMI 및 정확도 성능을 기록하며 최신 기술 수준을 확립한다.

ABSTRACT

We propose FineGAN, a novel unsupervised GAN framework, which disentangles the background, object shape, and object appearance to hierarchically generate images of fine-grained object categories. To disentangle the factors without supervision, our key idea is to use information theory to associate each factor to a latent code, and to condition the relationships between the codes in a specific way to induce the desired hierarchy. Through extensive experiments, we show that FineGAN achieves the desired disentanglement to generate realistic and diverse images belonging to fine-grained classes of birds, dogs, and cars. Using FineGAN's automatically learned features, we also cluster real images as a first attempt at solving the novel problem of unsupervised fine-grained object category discovery. Our code/models/demo can be found at https://github.com/kkanshul/finegan

연구 동기 및 목표

• 미세 분류 레이블이 전혀 없는 조건에서 배경, 객체 형태, 외관을 계층적으로 분리할 수 있는 비지도 생성 모델을 개발하는 것.
• 기존 문헌에서 해결되지 않은 바 없는 새로운 문제인 비지도 미세 분류 객체 카테고리 탐지 문제에 도전하는 것.
• 미세 분류 객체의 변동 인자 중 구조적(형태)과 세부적(외관) 요소를 모두 포착하는 분리된 표현을 학습하는 것.
• 잠재 코드에 대한 계층적 조건부 설정을 통해 새롭고 사실적인 미세 분류 카테고리(새, 개, 자동차 등)의 다양한 이미지를 생성하는 것.
• 비지도 계층적 생성 과정을 통해 학습된 특징들이 실제 이미지를 정확한 미세 분류 카테고리로 군집화하는 데 사용될 수 있음을 입증하는 것.

제안 방법

• FineGAN은 먼저 배경 이미지를 생성하고, 그 다음 형태 코드에 조건부로 부모 이미지를 생성한 후, 부모 코드와 외관 코드에 모두 조건부로 자식 이미지를 생성하는 계층적 생성 과정을 사용한다.
• 정보 이론적 정규화를 통해 부모 잠재 코드와 부모 이미지 간, 그리고 부모 코드에 조건부된 자식 잠재 코드와 자식 이미지 간의 상호정보량을 높임으로써 분리 성능를 강화한다.
• 부모 및 자식 단계에서 학습된 마스크를 조건부로 적용하여 잠재 코드가 관련 객체 영역에 집중하도록 하고, 단계 간 이미지 스티칭을 적절히 수행하도록 한다.
• 같은 부모 코드에 속하는 자식 코드들을 그룹화하는 계층적 제약 조건을 도입함으로써, 부모 코드가 형태를, 자식 코드가 외관의 변동을 포착하도록 유도한다.
• 생성자-판별자 간의 적대적 손실과 상호정보량 최대화를 결합한 GAN 목적함수를 사용하여 분리성과 현실성 확보를 동시에 달성한다.
• 모델은 두 단계 모두에서 자동으로 세그멘테이션 마스크를 생성하며, 이는 생성자에게 객체 특화 영역에 주의를 기울이고 분리 성능를 향상시키는 데 기여한다.

실험 결과

연구 질문

• RQ1 배경, 형태, 외관을 계층적으로 분리하는 생성 모델이 어떠한 지도 학습 없이도 사실적이고 다양한 미세 분류 이미지를 생성할 수 있는가?
• RQ2 이러한 모델이 학습한 분리된 특징들이 실제 이미지를 비지도 방식으로 미세 분류 카테고리로 군집화하는 데 사용될 수 있는가?
• RQ3 계층적 분리 기법이 InfoGAN과 같은 평면적 분리 기법보다 미세 분류 객체의 변동을 얼마나 잘 포착하는가?
• RQ4 학습된 부모 코드와 자식 코드가 각각 형태와 외관 요소를 얼마나 잘 포착하는가? 그리고 군집화에 있어 상호 보완적인가?
• RQ5 진짜 카테고리 수가 알려져 있지 않은 상황에서도 모델이 의미 있는 미세 분류 구조를 탐지할 수 있는가?

주요 결과

• FineGAN은 CUB 데이터셋에서 0.403 NMI와 0.126 정확도를 기록하여, JULE(0.204 NMI, 0.045 정확도)와 DEPICT(0.290 NMI, 0.061 정확도)를 크게 앞서는 비지도 미세 분류 객체 군집화 성능를 확보했다.
• Stanford Dogs 데이터셋에서는 0.233 NMI와 0.079 정확도를 기록하여, JULE-ResNet-50(0.148 NMI, 0.044 정확도)와 DEPICT-Large(0.183 NMI, 0.054 정확도)를 모두 능가했다.
• Stanford Cars 데이터셋에서는 0.354 NMI와 0.078 정확도를 기록하여, DEPICT-Large(0.330 NMI, 0.062 정확도)를 포함한 모든 기준 모델을 앞섰다.
• 제거 실험 결과, 자식 코드 특징만을 사용할 경우 새 데이터에서 정확도가 0.017로 떨어지며, 이는 부모 코드와 자식 코드가 상호 보완적이며 서로 다른 측면(형태 대비 외관)을 포착하고 있음을 확인한다.
• 정성적 결과를 통해 배경, 형태, 외관이 성공적으로 분리되었음을 확인하였으며, 자식 코드만을 변화시킬 경우 형태와 배경은 유지되면서 외관만 변화하는 것으로 나타났다.
• 반면, InfoGAN은 배경과 외관을 분리하지 못했으며, 동일한 자식 코드를 사용한 이미지 간에도 배경이 일관되게 변동됨을 통해 잠재 코드 예측에서 배경 편향이 존재함을 입증하였다.