[논문 리뷰] GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

David Bau, Jun-Yan Zhu외 5명|arXiv (Cornell University)|2018. 11. 26.

Cellular Automata and Applications인용 수 217

한 줄 요약

본 논문은 해석 가능한 단위를 발견하고 개입을 통해 인과적 역할을 검증하며, 이를 통해 GAN을 시각화하고 이해하는 프레임워크를 제시한다. 또한 생성된 장면을 디버깅하고 조작하는 데 적용한다.

ABSTRACT

Generative Adversarial Networks (GANs) have recently achieved impressive results for many real-world applications, and many GAN variants have emerged with improvements in sample quality and training stability. However, they have not been well visualized or understood. How does a GAN represent our visual world internally? What causes the artifacts in GAN results? How do architectural choices affect GAN learning? Answering such questions could enable us to develop new insights and better models. In this work, we present an analytic framework to visualize and understand GANs at the unit-, object-, and scene-level. We first identify a group of interpretable units that are closely related to object concepts using a segmentation-based network dissection method. Then, we quantify the causal effect of interpretable units by measuring the ability of interventions to control objects in the output. We examine the contextual relationship between these units and their surroundings by inserting the discovered object concepts into new images. We show several practical applications enabled by our framework, from comparing internal representations across different layers, models, and datasets, to improving GANs by locating and removing artifact-causing units, to interactively manipulating objects in a scene. We provide open source interpretation tools to help researchers and practitioners better understand their GAN models.

연구 동기 및 목표

• 객체 개념에 해당하는 GAN 생성기 내부의 단위를 식별한다(예: 나무, 탁자).
• 선정된 단위가 생성된 이미지에서 객체의 존재 여부에 미치는 인과적 영향을 정량화한다.
• 장면 내에서 객체 개념이 맥락과 배경과 상호 작용하는 방식을 탐구한다.
• 모델 간 표현 비교, 아티팩트 진단, 인터랙티브한 객체 조작 등 실용적 활용을 가능하게 한다.

제안 방법

• Dissection: 단위 활성화와 의미론적 세그멘테이션 마스크 간의 일치를 측정하여 해석 가능한 단위를 식별한다(IoU 기반).
• Intervention: 단위 집합을 소멸시키거나 삽입하고 세그멘테이션 차이를 사용해 객체 존재에 대한 평균 인과효과(ACE)를 계산한다.
• ACE를 최대화하는 부분집합의 단위를 효율적으로 선택하기 위해 연속 개입 벡터를 최적화한다(L2 정규화 포함).
• 아키텍처와 학습이 학습된 객체에 어떤 영향을 미치는지 이해하기 위해 계층, 모델, 데이터셋 간 표현을 비교한다.
• 아티팩트 식별을 사용해 단위를 제거하고 이미지 품질(FID 및 인간 평점)을 향상시킨다.
• 인터랙티브한 탐색을 위한 오픈 소스 도구와 데모를 제공한다.

실험 결과

연구 질문

• RQ1 GAN은 내부 단위 안에 객체 개념의 명시적이고 해체 가능한 표현을 학습하는가?
• RQ2 특정 단위에 개입하여 생성된 이미지에서 객체 존재를 인과적으로 조작할 수 있는가?
• RQ3 계층 깊이, 모델 변형, 학습 데이터가 해석 가능한 단위의 출현에 어떤 영향을 미치는가?
• RQ4 아티팩트를 야기하는 단위를 식별하고 제거하여 현실감을 개선할 수 있는가?
• RQ5 맥락과 주변 환경이 장면에 객체 개념을 삽입하는 효과에 어떻게 영향을 미치는가?

주요 결과

• 일부 단위가 객체 탐지기로 등장하며(예: 테이블, 소파) 다양한 모습에서도 세그멘테이션 맵과 의미 있는 IoU 매치를 보인다.
• 중간에서 후기 계층은 객체 및 객체 부위에 대응하는 해석 가능한 단위를 갖는 경향이 있으며, 초기 계층은 저수준 특징을 인코딩한다.
• 아키텍처 선택(예: minibatch stddev, 픽셀별 정규화)은 해석 가능한 단위의 수와 다양성에 영향을 준다.
• 아티팩트를 야기하는 단위를 제거하는 것이 무작위 제거에 비해 이미지 품질을 크게 향상시킨다(FID 감소 및 인간 선호도 증가).
• 개입은 객체 단위를 삽입하거나 제거할 때 맥락 의존적 결과를 보여주며 GAN이 객체-맥락 관계를 어떻게 인코딩하는지 드러낸다.
• 작고 표적화된 단위 집합을 무효화하면 일부 장면에서 특정 객체(예: 창문, 커튼)를 제거할 수 있는 반면, 다른 객체(예: 탁자)는 제거하기 더 어렵다.