[論文レビュー] Explaining in Style: Training a GAN to explain a classifier in StyleSpace

Oran Lang, Yossi Gandelsman+9 more|arXiv (Cornell University)|Apr 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 10

ひとこと要約

StylEx は、分類器勾配を条件付きに用いることで、分類器の意思決定を説明する制御可能で人間が解釈可能な反事実的例を生成するスタイル空間内で、分類器固有で分離された属性を学習する。分類器勾配に条件付けられた GAN の学習により、予測に直接影響を与える意味的に明確な属性（例：目の形、耳のポーズ）を同定し、年齢および性別分類器で最高10個の属性を用いて最大93.9％の反転率を達成する。

ABSTRACT

Image classification models can depend on multiple different semantic attributes of the image. An explanation of the decision of the classifier needs to both discover and visualize these properties. Here we present StylEx, a method for doing this, by training a generative model to specifically explain multiple attributes that underlie classifier decisions. A natural source for such attributes is the StyleSpace of StyleGAN, which is known to generate semantically meaningful dimensions in the image. However, because standard GAN training is not dependent on the classifier, it may not represent these attributes which are important for the classifier decision, and the dimensions of StyleSpace may represent irrelevant attributes. To overcome this, we propose a training procedure for a StyleGAN, which incorporates the classifier model, in order to learn a classifier-specific StyleSpace. Explanatory attributes are then selected from this space. These can be used to visualize the effect of changing multiple attributes per image, thus providing image-specific explanations. We apply StylEx to multiple domains, including animals, leaves, faces and retinal images. For these, we show how an image can be modified in different ways to change its classifier output. Our results show that the method finds attributes that align well with semantic ones, generate meaningful image-specific explanations, and are human-interpretable as measured in user-studies.

研究の動機と目的

• 深く畳み込まれた画像分類器のための、人間が解釈可能な多属性反事実的説明の不足に取り組むこと。
• 生成モデルの潜在空間に、分類器の意思決定に直接影響を与える、分離可能で意味的に明確な属性を同定すること。
• 1つの属性を1回ずつ変更する反事実的例を生成することで、画像固有の説明を可能にすること。
• 分離可能で分類器に注意を向けた生成によって、医療画像や自律走行システムなどのハイリスク分野におけるモデルの解釈性を向上させること。

提案手法

• 事前学習済み分類器の勾配を組み込んだ条件付き損失を用いて、生成器のスタイル空間を分類器に関連する属性に一致させるように StyleGAN を学習する。
• 勾配に基づくサリエンシーを用いて、入力画像に対して分類器出力に最も影響を与えるスタイル空間座標を同定する。
• 他の座標を固定したまま個々のスタイル空間座標を摂動することで反事実的画像を生成し、属性効果の制御された可視化を可能にする。
• 属性の明確さと一貫性を評価する2段階のユーザースタディを実施：(1) 画像対からの属性同定、(2) 動的な属性変化の記述。
• 上位k個の属性を変更した際に分類器の予測がどれだけ頻繁に反転するかを測定することで、属性の十分性を測定する。
• モード崩壊を防ぎ、特に網膜画像のような微細な分野において、分類器に関連する属性を保証する分類器固有の学習部（CST）を導入する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルを学習させることで、分類器の意思決定に直接影響を与える、分離可能で意味的に明確な潜在空間の属性を同定できるか？
• RQ2 これらの属性を用いて、視覚的に一貫性があり、人間が解釈可能な反事実的例を生成できるか？
• RQ3 分類器固有の学習部は、可視度が低い分野における属性の関連性とモデル性能をどのように向上させるか？
• RQ4 同定された属性は、医療や細分化された視覚的カテゴリを含む多様な画像ドメインにおいて、分類器の意思決定をどの程度説明できるか？

主な発見

• StylEx は、非常に一貫性があり明確な属性を同定している：性的な外見の認識に関しては96％のケースで上位6つの属性を正しく特定し、年齢の認識に関しては98.3％の正答率を達成した。
• Wu らのベースライン手法よりも属性の一貫性が顕著に優れており、ネコ・イヌの分類で93.3％、年齢認識で98.3％の正答率を記録した。
• StylEx は上位10個の属性を用いて、年齢認識分類器で93.9％の反転率を達成した。一方、Wu らの手法は16.9％にとどまり、属性の十分性において顕著な優位性を示した。
• 網膜画像ドメインでは、StylEx は上位10個の属性を用いて100％の反転率を達成したが、分類器固有の学習部（CST）を備えないベースラインは完全に失敗（0％の反転率）し、CSTの必要性を裏付けた。
• 植物ドメインでは、StylEx は91.2％の反転率を達成し、Wu らの手法（14.6％）を著しく上回った。ユーザースタディの結果、StylEx の属性はより一貫して記述されており、知覚的に明確に区別されていた。
• ユーザースタディの結果、StylEx の属性は明確さだけでなく、知覚的に顕著であることも確認された：ネコ・イヌの分類で上位1つの属性を93.3％の割合で正しく特定し、年齢認識の上位座標に関しては100％の割合で「眼鏡」との記述がなされた。