[논문 리뷰] On the Units of GANs (Extended Abstract)

David Bau, Jun-Yan Zhu외 5명|arXiv (Cornell University)|2019. 01. 29.

Cell Image Analysis Techniques참고 문헌 10인용 수 11

한 줄 요약

이 논문은 프로그레시브 GAN 내부 표현에서 해석 가능한 단위를 식별하여 문, 창문, 의자와 같은 의미적 객체에 대해 원인적 영향을 미치는 방법을 제안한다. 이러한 단위를 제거하거나 삽입함으로써 저자들은 객체 생성에 대한 원인적 제어, 아티팩트 감소, 맥락 인식 객체 배치를 입증하며, GAN이 시나리오 개념의 구조적이고 분리된 표현을 학습한다는 것을 드러낸다.

ABSTRACT

Generative Adversarial Networks (GANs) have achieved impressive results for many real-world applications. As an active research topic, many GAN variants have emerged with improvements in sample quality and training stability. However, visualization and understanding of GANs is largely missing. How does a GAN represent our visual world internally? What causes the artifacts in GAN results? How do architectural choices affect GAN learning? Answering such questions could enable us to develop new insights and better models. In this work, we present an analytic framework to visualize and understand GANs at the unit-, object-, and scene-level. We first identify a group of interpretable units that are closely related to concepts with a segmentation-based network dissection method. We quantify the causal effect of interpretable units by measuring the ability of interventions to control objects in the output. Finally, we examine the contextual relationship between these units and their surrounding by inserting the discovered concepts into new images. We show several practical applications enabled by our framework, from comparing internal representations across different layers, models, and datasets, to improving GANs by locating and removing artifact-causing units, to interactively manipulating objects in the scene. We will open source our interactive tools to help researchers and practitioners better understand their models.

연구 동기 및 목표

• GAN이 인간이 인지할 수 있는 객체인 문, 건물, 나무와 같은 내부 표현을 학습하는지 이해하는 것.
• 의미적 객체의 존재 또는 부재에 직접적인 영향을 미치는 특정 단위를 식별하고 조작하는 방법을 개발하는 것.
• 시각적 아티팩트를 유발하는 단위를 찾아 제거함으로써 GAN을 디버깅하는 것.
• 통제된 간섭을 통해 GAN 생성 영상 내 객체 간 맥락적 관계를 연구하는 것.
• 원인적 단위 제어를 활용한 상호작용적이고 객체 수준의 이미지 조작을 가능하게 하는 것.

제안 방법

• 특징 맵 내 단위는 활성화를 확대하고 임계값을 적용한 후, IoU와 픽셀 정확도를 측정하여 지도된 의미적 세그멘테이션 마스크와의 겹침을 측정함으로써 식별된다.
• 확대 및 임계값 처리 후 의미 클래스와 >0.75 픽셀 정확도 및 >0.05 IoU를 확보하는 단위는 클래스 예측기로 분류된다.
• 원인적 영향은 잠재 표현 내 특정 단위를 제거(0으로 설정)하거나 삽입(활성화)함으로써 연구되며, 이로 인한 생성 이미지의 변화를 관찰한다.
• 간섭의 영향은 하류 특징 맵의 정규화된 L1 변화를 측정하여 계층 간 추적되며, 히트맵과 선형도로 시각화된다.
• 이 방법은 계층 간, GAN 변종 간, 데이터셋 간 표현을 비교하여 훈련 혁신이 해석 가능성에 어떤 영향을 미치는지 분석한다.
• 20개의 아티팩트 유발 단위의 제거는 FID와 인간 선호도 점수를 사용하여 평가되어 품질 향상 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 GAN의 내부 표현 내 특정 단위가 인간이 인지할 수 있는 객체, 예를 들어 문, 창문, 의자와 같은 것과 대응하는가?
• RQ2 개별 단위를 조작하면 생성된 이미지에서 특정 객체가 나타나거나 사라지는가?
• RQ3 장면 내 맥락 제약 조건은 단위 조작을 통한 객체 삽입 또는 제거 성공에 어떤 영향을 미치는가?
• RQ4 내부 단위와 GAN 출력의 시각적 아티팩트 사이의 원인 관계는 무엇인가?
• RQ5 특징 활성화는 어떻게 계층을 통해 전파되며, 간섭이 최종 출력에 눈에 띄는 변화를 유도할 수 있는 조건은 무엇인가?

주요 결과

• 20개의 아티팩트 유발 단위를 제거함으로써 FID는 52.87에서 32.11로 감소하고 인간 선호도는 50.8%에서 79.0%로 상승하여 시각적 품질 향상이 뚜렷하게 입증되었다.
• 의미 클래스와 일치하는 단위(예: 문, 창문)는 프로그레시브 GAN의 4~7층에서 뚜렷하게 나타나며, 초기 계층에서는 최소한의 의미적 내용을 가진다.
• 모델 품질이 향상될수록 해석 가능한 단위의 수가 증가하며, 배치 정규화 및 픽셀 단위 정규화와 같은 혁신은 해석 가능성 향상에 기여한다.
• 객체 제거의 성공 여부는 맥락에 따라 달라진다: 회의실에서는 사람과 창문은 쉽게 제거되지만, 같은 환경에서 테이블과 의자는 완전히 제거하기 어려운 편이다.
• 4층에서 문 단위를 삽입하면 문이 맥락적으로 적절한 위치(예: 건물)에만 나타나며, 크기, 색상, 스타일 등 속성이 장면과 일치한다.
• 하류 계층 분석 결과, 4층에서의 간섭은 12층까지 효과가 확대되며, 건물과 같은 맥락적으로 타당한 영역에서는 비유효 영역(예: 하늘, 나무)보다 더 강한 신호 전파가 발생한다.