[논문 리뷰] Counterfactuals uncover the modular structure of deep generative models

Michel Besserve, Arash Mehrjou외 2명|arXiv (Cornell University)|2018. 12. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 28

한 줄 요약

이 논문은 감독 없이도 딥 생성 모델 내의 모듈화되고 분리된 표현을 드러내기 위해 반사적 간섭 프레임워크를 제안한다. 다양한 레이어의 내부 은닉 유닛을 조작함으로써 특정 이미지 속성을 제어하는 해석 가능한 모듈을 식별할 수 있으며, 이는 최소한의 품질 저하로도 타겟 이미지 편집과 강건성 평가를 가능하게 한다.

ABSTRACT

Deep generative models can emulate the perceptual properties of complex image datasets, providing a latent representation of the data. However, manipulating such representation to perform meaningful and controllable transformations in the data space remains challenging without some form of supervision. While previous work has focused on exploiting statistical independence to disentangle latent factors, we argue that such requirement is too restrictive and propose instead a non-statistical framework that relies on counterfactual manipulations to uncover a modular structure of the network composed of disentangled groups of internal variables. Experiments with a variety of generative models trained on complex image datasets show the obtained modules can be used to design targeted interventions. This opens the way to applications such as computationally efficient style transfer and the automated assessment of robustness to contextual changes in pattern recognition systems.

연구 동기 및 목표

• 감독 없이도 딥 생성 모델의 잠재 표현을 해석하고 제어하는 데 도전하는 것.
• 요소들이 통계적으로 종속되어 있을 경우 실패하는 통계적 인적성 기반 분리 기법의 한계를 극복하는 것.
• 간섭 기반 분석을 통해 생성 네트워크 내 임상적 모듈성 구조를 드러내는 인과적 프레임워크를 개발하는 것.
• 재학습이나 최적화 없이도 스타일 전이와 같은 타겟 이미지 조작 및 강건성 평가를 가능하게 하는 것.
• 빅간(GAN)과 같은 고해상도 모델에 적용 가능한 확장 가능한 비감독 방법을 제공하는 것.

제안 방법

• 학습된 생성 모델의 내부 변수에 반사적 간섭을 적용하여 인과적 프레임워크 내에서 분리 기반 정의를 내리는 것.
• 기타 구성 요소를 고정한 채로 중간 레이어의 특정 은닉 유닛(채널)을 수정함으로써 간섭를 적용하는 것.
• 다양한 샘플의 특징을 레이어 간 내부 표현을 혼합함으로써 하이브리드화 절차를 적용하는 것.
• 반사적 편집 후 품질 저하를 최소화하기 위해 프리셰트 인ception 거리(Frechet Inception Distance, FID)를 사용해 이미지 품질을 평가하는 것.
• 모듈 간섭을 통해 생성된 반사적 이미지에 대해 분류기의 정확도를 측정함으로써 강건성 평가를 수행하는 것.
• 세레브아와 이미넷 등의 데이터셋에서 VAE, GAN, BEGAN, BigGAN 등 다양한 아키텍처에 이 방법을 적용하는 것.

실험 결과

연구 질문

• RQ1 반사적 간섭이 레이블이나 의미적 감독 없이도 딥 생성 모델 내에서 모듈화되고 분리된 표현을 드러낼 수 있는가?
• RQ2 내부 은닉 유닛에 대한 간섭가 생성된 이미지 속성의 해석 가능성과 제어 가능성에 어떤 영향을 미치는가?
• RQ3 반사적 간섭으로 드러난 모듈화된 구조를 활용해 재학습 없이도 고품질의 하이브리드 이미지(예: 객체-배경 교환)를 얼마나 잘 생성할 수 있는가?
• RQ4 생성 모델의 모듈화된 구조는 맥락 변화에 대한 후행 분류기의 강건성과 어떻게 관련되어 있는가?
• RQ5 제안된 방법은 이미넷에서 훈련된 빅간과 같은 고해상도 및 복잡한 모델로도 확장 가능한가?

주요 결과

• 이 방법은 세레브아와 이미넷에서 훈련된 VAE와 GAN에서 각각 머리카락, 얼굴 특징, 배경 등과 같은 고유한 이미지 속성을 담당하는 해석 가능한 모듈을 성공적으로 식별하였다.
• 모듈 간섭을 통한 반사적 편집은 원본 샘플과 비교해 FID 저하가 최소한인 고품질의 하이브리드 이미지를 생성한다—예를 들어 코ala의 환경 속에 테디베어가 있거나, 닭의 머리가 달린 오리온—.
• 분류기 강건성 분석 결과, 특히 빅간의 블록 5–6에서 중간 레이어에서 반사적 이미지를 생성할 경우 원래 클래스의 인식 정확도가 향상됨을 확인하였다.
• 최첨단 분류기들은 반사적 변화에 대해 서로 다른 민감도를 보이며, 이는 비합리적인 분류 결과를 통해 객체 또는 배경 등 서로 다른 이미지 구성 요소에 의존하고 있음을 시사한다.
• 이 프레임워크는 추가 최적화 없이도 계산적으로 효율적인 스타일 전이 및 강건성 평가를 가능하게 하여, 단지 해석 가능성 이상의 실용적 유용성을 입증하였다.
• 이 방법은 아키텍처와 데이터셋 간에 일반화 가능하며, 이미넷에서 훈련된 빅간을 포함한 복잡하고 고해상도의 생성 모델에 대해서도 확장 가능성을 확인하였다.