[論文レビュー] Hide-and-Seek: A Template for Explainable AI

Thanos Tagaris, Andreas Stafylopatis|arXiv (Cornell University)|Apr 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 61被引用数 6

ひとこと要約

本論文では、'シーカー'と呼ばれるニューラルネットワークが画像分類を行うのを支援する一方で、2番目のネットワーク（'ハイダー'）が不要な入力領域をマスクするように学習する、新しいフレームワークであるHide-and-Seek（HnS）を紹介する。分類精度と入力マスクの両方を同時に最適化することで、予測性能を損なうことなく高い解釈可能性を達成し、忠実度と解釈可能性が本質的に対立するわけではないことを示している。

ABSTRACT

Lack of transparency has been the Achilles heal of Neural Networks and their wider adoption in industry. Despite significant interest this shortcoming has not been adequately addressed. This study proposes a novel framework called Hide-and-Seek (HnS) for training Interpretable Neural Networks and establishes a theoretical foundation for exploring and comparing similar ideas. Extensive experimentation indicates that a high degree of interpretability can be imputed into Neural Networks, without sacrificing their predictive power.

研究の動機と目的

• 深層ニューラルネットワークにおける解釈可能性の欠如、特にビジョンおよびNLP応用分野における課題に対処すること。
• 予測性能を損なわせることなく高い解釈可能性を実現するフレームワークの開発。
• ニューラルネットワークにおける忠実度と解釈可能性の測定およびバランスの理論的・実験的基盤の確立。
• 決定論的 vs. 確率的マスキング戦略がモデルの安定性および解釈可能性に与える影響の調査。
• ビジョン、NLP、構造化データのタスクに広く適用可能な汎用的テンプレートの提供。

提案手法

• HnSフレームワークは2つのニューラルネットワークを用いる：分類のための'シーカー'と、入力特徴をマスクするための'ハイダー'。
• ハイダーは無情報な入力領域を特定し、マスクするように学習する。一方、シーカーは残存する可視特徴を分類する。
• 分類損失とマスキング損失を組み合わせた共同損失関数を用い、忠実度と解釈可能性のバランスをとるために動的重み付けを実施。
• 入力マスクの生成に、決定論的および確率的しきい値処理を併用することで、制御された探索または活用が可能になる。
• 解釈可能性はマスクされた入力の割合で測定され、忠実度は分類精度によって測定される。
• タスク固有のファインチューニングなしに4つの画像分類データセットに適用され、一般化性能が確認された。

実験結果

リサーチクエスチョン

• RQ1 分類とマスキングの共同最適化によって、ニューラルネットワークが高い精度と高い解釈可能性の両方を達成できるか？
• RQ2 ニューラルネットワークにおける忠実度と解釈可能性の間のトレードオフという一般的な仮定は、実際に妥当か？
• RQ3 決定論的マスキングと確率的マスキング戦略は、モデルの安定性、性能、解釈性においてどのように比較されるか？
• RQ4 HnSフレームワークは、画像、テキスト、構造化データなどの異なるデータモダリティに一般化可能か？
• RQ5 適応的損失重み付けは、精度と解釈性の二重目的をバランスさせる上で果たす役割は何か？

主な発見

• HnSフレームワークは、テスト済みのすべてのデータセットで、入力特徴の最大90％をマスクする高解釈性を達成しながら、ほぼベースライン水準の分類精度を維持した。
• 本研究では、忠実度と解釈性のトレードオフという仮定が誤りであることが示された。予測性能の著しい損失なしに、高解釈性を達成可能である。
• 確率的しきい値処理は、マスク生成の滑らかな遷移のおかげで、より安定した訓練が可能となり、モデル間分散が低くなった。
• 決定論的しきい値処理は、特に小さなデータセットでは、極端なマスク解法を好むため、一部の状況でより高い解釈性を達成した。
• 適応的損失重み付け方式は、手動でのハイパーパramータチューニングなしに、最適なトレードオフに収束できるように、二重目的を効果的にバランスさせた。
• 4つの画像分類データセットにおける実験から、HnSはタスク固有のファインチューニングなしに良好に一般化されることを確認した。これにより、広範な適用可能性が裏付けられた。