[논문 리뷰] Variational Capsules for Image Analysis and Synthesis

Huaibo Huang, Lingxiao Song외 3명|arXiv (Cornell University)|2018. 07. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 변분 캡슐(Variational Capsules, VCs)을 소개한다. VCs는 이미지를 잠재 변수를 통해 요소들의 조합으로 모델링함으로써 이미지 분석과 합성의 통합을 이루는 확률적 확장된 캡슐 네트워크이다. 사전 분포로부터의 발산을 요소 존재 여부를 나타내는 데 사용함으로써, VCs는 분리된, 제어 가능한 생성을 가능하게 하며, 분류 및 속성 예측에서 높은 다양성과 향상된 성능을 달성한다.

ABSTRACT

A capsule is a group of neurons whose activity vector models different properties of the same entity. This paper extends the capsule to a generative version, named variational capsules (VCs). Each VC produces a latent variable for a specific entity, making it possible to integrate image analysis and image synthesis into a unified framework. Variational capsules model an image as a composition of entities in a probabilistic model. Different capsules' divergence with a specific prior distribution represents the presence of different entities, which can be applied in image analysis tasks such as classification. In addition, variational capsules encode multiple entities in a semantically-disentangling way. Diverse instantiations of capsules are related to various properties of the same entity, making it easy to generate diverse samples with fine-grained semantic attributes. Extensive experiments demonstrate that deep networks designed with variational capsules can not only achieve promising performance on image analysis tasks (including image classification and attribute prediction) but can also improve the diversity and controllability of image synthesis.

연구 동기 및 목표

• 캡슐을 사용하여 이미지 분석과 합성을 단일 확률적 프레임워크로 통합한다.
• 캡슐 네트워크를 순수하게 판별적 모델에서 병합 판별-생성 모델로 확장한다.
• 의미적으로 분리된 잠재 표현을 통해 제어 가능한, 다양한 이미지 합성을 가능하게 한다.
• 생성 재구성 기반으로 이미지 분류 및 속성 예측 정확도를 향상시킨다.
• 세분화된 제어 기능을 갖춘 조건부 이미지 생성을 위한 새로운 방법을 제공한다.

제안 방법

• 각 변분 캡슐은 특정 요소를 나타내는 잠재 변수를 생성하며, 이를 알려진 사전 분포와 일치하는 분포로 모델링한다.
• 요소 존재 여부는 캡슐의 사후분포와 사전분포 간의 발산으로 측정되며, 활성도 벡터 길이가 아닌 신뢰도 지표로 대체된다.
• 에코더는 입력 이미지를 변분 캡슐로 매핑하여 잠재 변수에 대한 사후분포를 근사한다.
• 디코더는 마스킹되거나 샘플링된 캡슐 표현에서 이미지를 재구성함으로써 이미지 합성을 가능하게 한다.
• 추론 과정에서 새로운 샘플은 사전 분포에서 추출함으로써 다양한, 제어 가능한 생성이 가능하다.
• 이 프레임워크는 VAE 유사 아키텍처를 사용하며, 별도의 에코더 및 디코더 네트워크로 구성되며, 재구성 손실 및 KL 발산 손실을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 분석 및 합성을 위한 통합된 생성-판별 프레임워크로 확장될 수 있는가?
• RQ2 생성 재구성 기반으로 변분 캡슐은 이미지 분류 및 속성 예측 성능을 향상시킬 수 있는가?
• RQ3 VCs의 분리된 잠재 표현은 세분화된 제어 기능을 갖춘 다양한 이미지 합성을 가능하게 하는가?
• RQ4 요소 신뢰도를 나타내는 데 사전 분포로부터의 발산이 활성도 벡터 길이보다 어떻게 비교되는가?
• RQ5 이 프레임워크는 여러 속성에 걸쳐 의미적 제어를 유지하면서도 현실적이고 다양한 샘플을 생성할 수 있는가?

주요 결과

• MNIST 숫자 분류에서 모델은 0.30% 오차율을 기록하여 이전의 캡슐 네트워크를 능가하며 최신 기술 수준의 성능에 가까워졌다.
• 얼굴 속성 예측에서, 모델은 정확도와 속성 편집의 제어성 모두에서 열등한 성능를 보였다.
• 동일한 활성 캡슐에서의 이미지 합성은 정체성을 유지하면서도 안경 스타일 등을 다양하게 조절할 수 있는 세분화된 제어 기능을 갖춘 다양한 샘플을 생성한다.
• 잠재 표현 간의 보간은 얼굴 속성에서 빌드된 연속적인 전환을 만들어내며, 분리된 의미 있는 표현을 확인한다.
• 재구성 품질은 안정적이며, 핵심 이미지 세부 정보를 유지하면서도 샘플링된 잠재 코드로부터 고해상도 생성을 가능하게 한다.
• 재구성 손실을 통한 이미지 분석 정확도 향상으로 인해 분석 및 합성 구성 요소 간 상호 이점이 입증되었다.