[論文レビュー] Learning Credible Deep Neural Networks with Rationale Regularization

Mengnan Du, Ninghao Liu+2 more|arXiv (Cornell University)|Aug 13, 2019

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 5

ひとこと要約

本論文では、データセットに内在する誤ったバイアスに依存するのを減らすために、予測に重要とされる特徴（根拠）に注目させる正則化手法であるCREXを提案する。この手法により、より信頼性の高い深層ニューラルネットワークの訓練が可能になる。実験の結果、精度が保持されたまま、未知のデータに対する一般化性能が向上することが示された。

ABSTRACT

Recent explainability related studies have shown that state-of-the-art DNNs do not always adopt correct evidences to make decisions. It not only hampers their generalization but also makes them less likely to be trusted by end-users. In pursuit of developing more credible DNNs, in this paper we propose CREX, which encourages DNN models to focus more on evidences that actually matter for the task at hand, and to avoid overfitting to data-dependent bias and artifacts. Specifically, CREX regularizes the training process of DNNs with rationales, i.e., a subset of features highlighted by domain experts as justifications for predictions, to enforce DNNs to generate local explanations that conform with expert rationales. Even when rationales are not available, CREX still could be useful by requiring the generated explanations to be sparse. Experimental results on two text classification datasets demonstrate the increased credibility of DNNs trained with CREX. Comprehensive analysis further shows that while CREX does not always improve prediction accuracy on the held-out test set, it significantly increases DNN accuracy on new and previously unseen data beyond test set, highlighting the advantage of the increased credibility.

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）が、正しくない証拠ではなく、誤った特徴やバイアスに依存するという信頼性の欠如を是正すること。
• ドメイン知識と整合する意味的に関連する特徴に注目させるようにDNNを保証することにより、モデルの一般化性能を向上させること。
• 再訓練やアーキテクチャの変更をほとんど必要とせず、専門家の根拠を活用して注目を誘導する正則化手法を開発すること。
• 高品質な根拠を組み込むことで、特に分布外データに対してより強固で信頼できるDNNが得られるかどうかを評価すること。
• ノイズや欠落のある専門家の根拠のような低品質な根拠に対しても、この手法の耐性を評価すること。

提案手法

• CREXは、モデルの局所的説明（注目重み）が専門家が提供する根拠と一致するよう促す、根拠に基づく正則化損失を導入する。具体的には、予測に重要であるとされる入力特徴のサブセットが、専門家によって指定されている。
• 微分可能な注目メカニズムを用いて、各入力に対して局所的説明を計算し、説明生成プロセス全体にバックプロパゲーションを適用可能にする。
• モデルの説明ベクトルと専門家の根拠ベクトルの距離を最小化するためのコントラスト正則化損失を適用し、訓練中に一致を促進する。
• 専門家の根拠が利用できない場合でも、説明ベクトルのスパarsityを保つことで、モデルが最小限で意味のある特徴のサブセットに注目するよう促す。
• このアプローチはアーキテクチャに依存せず、CNNなどさまざまなDNNと互換性があり、最小限の変更で標準的な訓練パイプラインに統合可能である。
• スパースな根拠サンプリングと最適化技術により、訓練効率を維持し、推論速度を元のDNNと同等に保つ。

実験結果

リサーチクエスチョン

• RQ1 専門家が提供する根拠をDNNの訓練に組み込むことで、関連する特徴に注目させるよう誘導することで、モデルの信頼性が向上するか？
• RQ2 根拠正則化を用いることで、テストセットの精度が向上しなくても、分布外データに対する一般化性能が向上するか？
• RQ3 ノイズや欠落のある根拠（例：アノテーションエラー、重要な特徴の欠落）に対し、CREXはどれほど耐性があるか？
• RQ4 信頼性と説明品質を向上させつつ、推論速度を高く維持できるか？
• RQ5 根拠に基づく正則化は、DNNの予測におけるデータセット固有のバイアスやアーチファクトへの依存をどの程度低減できるか？

主な発見

• CREXで訓練されたDNNは、テストセット以外の新しいデータに対して顕著に向上した一般化性能を示し、信頼性と耐性の向上を示している。
• CNNモデルでは、Kaggleデータセットで4.2%、Polarityデータセットで3.8%の一般化精度の向上が、保持されたテストセットの精度に変化がなかったにもかかわらず達成された。
• モデルの性能は根拠のノイズに非常に敏感であり、根拠に10%の誤りがあると一般化精度が著しく低下した。これは、高品質な専門家入力の必要性を示している。
• 一方で、欠落した根拠に対しては相対的に耐性があり、重要な特徴の50%が根拠から欠落していても、依然として高い性能を維持した。
• CREXによる訓練は、平均して18.1分（対照的CNNでは2.5分）を要するが、推論時間は8e-3秒/入力と変化せず、デプロイの効率性が保たれている。
• 少量の根拠でも有効であるため、限られたアノテーション作業で実用的応用が可能であると示唆された。