[논문 리뷰] Generative Cooperative Net for Image Generation and Data Augmentation

Qiangeng Xu, Zengchang Qin외 1명|arXiv (Cornell University)|2017. 05. 08.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 고도의 시각적 특징(예: 표정, 색상/회전 변형)을 갖는 새로운 이미지를 생성할 수 있는 지도 학습 기반 생성 모델인 Generative Cooperative Net(GCN)을 제안한다. GAN과 달리, GCN는 적대적 손실 없이 협동 학습을 사용하여 효과적인 데이터 증강을 가능하게 하며, KDEF 데이터셋에서 인식 정확도를 92%에서 94%로 향상시켰다. 이는 325개의 실제 얼굴에서 유도된 21,125개의 합성 얼굴 이미지를 생성한 결과이다.

ABSTRACT

How to build a good model for image generation given an abstract concept is a fundamental problem in computer vision. In this paper, we explore a generative model for the task of generating unseen images with desired features. We propose the Generative Cooperative Net (GCN) for image generation. The idea is similar to generative adversarial networks except that the generators and discriminators are trained to work accordingly. Our experiments on hand-written digit generation and facial expression generation show that GCN's two cooperative counterparts (the generator and the classifier) can work together nicely and achieve promising results. We also discovered a usage of such generative model as an data-augmentation tool. Our experiment of applying this method on a recognition task shows that it is very effective comparing to other existing methods. It is easy to set up and could help generate a very large synthesized dataset.

연구 동기 및 목표

• 특정 고수준 시각적 특징(예: 표정, 색상/회전 속성 등)을 갖는 새로운 이미지를 생성할 수 있는 생성 모델을 개발하는 것.
• 이미지 품질을 유지하면서도 특정 의미적 특징를 제어할 수 없는 기존 GAN 기반 모델의 한계를 해결하는 것.
• 이러한 생성 모델을 인식 작업을 위한 강력한 데이터 증강 도구로 활용해 볼 것.
• 분류기 유도 생성자에 의해 지식 전이가 가능하게 하여 대규모 데이터셋에 대한 의존도를 줄이는 것.
• 생성자와 분류기 간의 협동 학습이 이미지 합성에서 일반화 능력과 개념 보존 능력을 향상시킨다는 것을 보여주는 것.

제안 방법

• GCN 프레임워크는 Dosovitskiy 등(2015)의 디컨볼루션 네트워크 아키텍처를 기반으로 한 생성자와 수정된 AlexNet을 사용하는 분류기로 구성된다.
• 모델은 재구성 손실과 분류 손실을 동시에 최소화하는 공동 목적 함수를 사용하여 엔드 투 엔드로 훈련된다.
• 훈련 데이터는 고수준 특징 벡터(예: 감정 레이블, 색상, 회전)와 해당하는 이미지의 쌍으로 구성된다.
• 생성자는 잠재 특징 벡터에서 이미지를 합성하도록 학습하고, 분류기는 의미 일관성과 특징 충실도를 보장한다.
• 다른 신체의 특징을 조합하거나 보간함으로써, 기존에 존재하지 않았던 조합(예: 알려진 신원에 새로운 표정)의 제로샷 생성이 가능하다.
• 이 프레임워크는 신원을 유지하면서 감정이나 외관을 변경하는 개념적으로 일관된 다양한 이미지를 생성함으로써 데이터 증강에 적용된다.

실험 결과

연구 질문

• RQ1 협동 학습 기반의 생성 모델은 표정과 같은 원하는 고수준 시각적 특징을 갖는 고품질의 새로운 이미지를 생성할 수 있는가?
• RQ2 GAN의 적대적 학습과 비교할 때, 생성자와 분류기 간의 협동 학습은 제어 가능한 이미지 생성에 있어 어떤가?
• RQ3 GCN 모델은 훈련 세트에 존재하지 않는 이미지, 예를 들어 새로운 감정 정체성이나 변형에 대해 어느 정도 일반화할 수 있는가?
• RQ4 GCN는 실재 데이터가 제한된 상황에서 인식 작업을 위한 효과적인 데이터 증강 방법이 될 수 있는가?
• RQ5 모델은 특정 의미적 속성(예: 감정, 색상)을 변경하면서도 주체의 신원을 유지하여 현실적이고 신뢰할 수 있는 합성 이미지를 생성하는가?

주요 결과

• GCN는 훈련 세트에 존재하지 않는 조합일지라도, 행복, 놀람, 기피와 같은 표정을 포함한 고품질의 새로운 이미지를 성공적으로 생성하였다.
• 데이터 증강 후 GCN는 얼굴 표정 인식 정확도를 원래 데이터셋의 92%에서 94%로 향상시켰으며, GCN가 생성한 데이터의 효과성을 입증하였다.
• 325개의 실제 얼굴에서 0.5:0.5 비율로 신원과 감정을 조합하여 총 21,125개의 합성 얼굴 이미지를 생성함으로써 높은 데이터 효율성을 보였다.
• 훈련 데이터에 명시적으로 포함되지 않은 90도 및 180도 회전과 같은 저수준 특징도 학습하여 강건한 특징 일반화 능력을 보였다.
• 색상 정보가 없는 경우 빨간 숫자를 생성하는 등 누락된 특징을 보완하는 데서 기존 기준 모델보다 더 나은 일반화 능력을 보였다.
• 합성된 이미지들은 주체의 신원을 유지하면서도 목표 감정을 정확하게 반영하여, 후속 작업에 대한 신뢰성과 유용성을 높였다.