[論文レビュー] GAN Dissection: Visualizing and Understanding Generative Adversarial Networks

David Bau, Jun-Yan Zhu+5 more|arXiv (Cornell University)|Nov 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 182

ひとこと要約

この論文は、解釈可能なユニットを特定し介入を通じて因果影響を測定し、文脈的関係を探索してGANを診断・比較・改善するための内部表現を視覚化するフレームワークを導入します。

ABSTRACT

Generative Adversarial Networks (GANs) have recently achieved impressive results for many real-world applications, and many GAN variants have emerged with improvements in sample quality and training stability. However, they have not been well visualized or understood. How does a GAN represent our visual world internally? What causes the artifacts in GAN results? How do architectural choices affect GAN learning? Answering such questions could enable us to develop new insights and better models. In this work, we present an analytic framework to visualize and understand GANs at the unit-, object-, and scene-level. We first identify a group of interpretable units that are closely related to object concepts using a segmentation-based network dissection method. Then, we quantify the causal effect of interpretable units by measuring the ability of interventions to control objects in the output. We examine the contextual relationship between these units and their surroundings by inserting the discovered object concepts into new images. We show several practical applications enabled by our framework, from comparing internal representations across different layers, models, and datasets, to improving GANs by locating and removing artifact-causing units, to interactively manipulating objects in a scene. We provide open source interpretation tools to help researchers and practitioners better understand their GAN models.

研究の動機と目的

• Segmentation-basedディセクションを介してGAN生成器のユニットが物体概念に対応することを特定する。
• 介入（アブレーションと挿入）を通じて識別されたユニットの物体の存在への因果影響を定量化する。
• 物体概念と周囲のシーンとの文脈関係を調べ、挿入効果を理解する。
• 層・モデル・データセット間の表現を比較する応用を示す。
• GANの解釈とデバッグを支援するオープンソースツールを提供する。

提案手法

• Dissection: upsamplingと閾値処理後にIoUを用いて単一の生成器ユニットとセマンティックセグメンテーションマップの一致を測定する。
• 単一ユニットごとのIoUを、ラベリング可能なユニットを指標付けするセマンティック概念のセットに対して計算する。
• Intervention: 選択したユニット群をアブレート（0に設定）または挿入（一定値に設定）し、セグメンテーションマスクを用いて物体の存在における平均因果効果（ACE）を計算する。
• 連続的な介入ベクトルαを最適化して、ターゲット概念に対して最小のユニット集合で最大ACEを特定する。
• 挿入/アブレーションは生成器の特徴マップ内の選択されたピクセル位置Pで適用され、因果関係を評価する。
• 層間・GAN系統・データセットを横断して、表現がどのように進化するか、アーティファクトがどのように緩和されるかを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 GANは機能マップ内で object concepts（例: 木、テーブル）を明示的に表す内部ユニットを発展させるのか。
• RQ2 特定のユニット群が生成画像中の物体の有無に与える因果影響はどれくらいか。
• RQ3 周囲の物体の文脈は、ユニット介入による物体概念の挿入または削除の成功にどう影響するのか。
• RQ4 介入はアーティファクトを引き起こすユニットを特定し、特定のアブレーションを可能にすることで診断・改善を導くことができるのか。
• RQ5 アーキテクチャの選択やデータセットの変動は、解釈可能なユニットの出現にどのように影響するのか。

主な発見

条件	FID	人間の嗜好
Original images	43.16	-
Artifacts ablated (ours)	27.14	72.4%
Random units ablated	43.17	49.9%

• 一部のユニットは明示的な物体概念に対応する。例えば、Layer4のユニットはLSUN屋外シーンの木をIoUが最大0.34で局在化する。
• 中～後段の層（4–7、次いで10以上）は semantic objects/parts および低レベル特徴を徐々にエンコードする一方、初期層は絡み合いが残る。
• ミニバッチ標準偏差とピクセルごとの正規化は、セマンティッククラスに一致するユニット数を19–40%以上増加させる。
• アーティファクトを引き起こすユニットをアブレーションすることで画像品質が著しく改善され、FIDは43.16から27.14へ、アーティファクトを除去した画像の人間の好みは72.4%（ランダムアブレーションでは49.9%）へ改善した。
• 慎重に選択された少数のユニット集合（例: 20ユニット）で、会議室シーンの人、カーテン、窓といった共通オブジェクトを除去できるが、文脈は除去の容易さに影響を与える。
• 挿入実験ではドアを適切な場所に追加できるが、文脈が挿入を却下する場合が多い（例: 空や木の上には挿入できない）。
• このフレームワークはモデル間・データセット間の比較を促進し、解釈可能なユニットをターゲットにすることでGANをデバッグ・改善する道を提供する。