[論文レビュー] Learning Qualitatively Diverse and Interpretable Rules for Classification

Andrew Slavin Ross, Weiwei Pan+1 more|arXiv (Cornell University)|Jun 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 2被引用数 6

ひとこと要約

この論文では、訓練中にモデル勾配の局所的独立性を強制することで、質的に多様で解釈可能な分類ルールの最大集合を学習する手法を提案する。標準的手法が複数の正確なルールを複雑なモデルに統合するのに対し、本手法は、明確に分離された単純で人間が解釈可能な関数を特定・分離する。実験的に、分解能の高いデータ生成タスクにおいて、標準的な訓練法よりも、個々の生成要因をより正確に回復することを示した。

ABSTRACT

There has been growing interest in developing accurate models that can also be explained to humans. Unfortunately, if there exist multiple distinct but accurate models for some dataset, current machine learning methods are unlikely to find them: standard techniques will likely recover a complex model that combines them. In this work, we introduce a way to identify a maximal set of distinct but accurate models for a dataset. We demonstrate empirically that, in situations where the data supports multiple accurate classifiers, we tend to recover simpler, more interpretable classifiers rather than more complex ones.

研究の動機と目的

• 標準的な機械学習手法が、複数の正確で解釈可能な分類器を複雑で解釈が難しいモデルに混同してしまうという限界に対処すること。
• 与えられたデータセットに対して、最大の多様性・正確性・解釈可能性を持つ分類器の集合を形式的に定義し特定すること。
• モデルの勾配応答が局所的に独立するよう促進する訓練手法を開発すること。
• このような多様なモデルが、統合された複雑なモデルよりも一般化性能が高く、解釈がしやすいことを示すこと。
• 局所的独立性学習が、表現が完全に分解されていない場合でも、個々の生成要因を回復できることを示すこと。

提案手法

• 入力の微小な摂動に対して分類関数が局所的に独立するものとして、多様な分類器の最大集合を定義する。
• モデル間の勾配が直交しない場合にペナルティを与える損失関数を用いて、アンサンブルモデルを訓練する。
• 入力摂動に対するモデル応答の統計的独立性の代理として、勾配の直交性を用いる。
• 分解能の高いVAE（β-VAE）の潜在表現上で分類器を訓練することで、深層ニューラルネットワークに本手法を適用する。
• 個々の生成要因を分離するテストセットにおける精度と特徴量可視化により、モデルの多様性と解釈可能性を評価する。
• 訓練中に局所的独立性ペナルティを適用し、モデルが異なる入力特徴または潜在要因の集合に依存するよう促進する。

実験結果

リサーチクエスチョン

• RQ1 複数の分類関数がデータに存在する場合、それらを一意に特定・回復できるか？
• RQ2 モデル勾配の間で局所的独立性を強制することで、標準的な訓練法と比較して、より単純で解釈可能なモデルが得られるか？
• RQ3 潜在表現が完全に分解されていない場合でも、局所的独立性学習により、分解能の高いデータ分布における個々の生成要因を分離できるか？
• RQ4 異なるテスト分布における精度と一般化性能の観点から、多様なモデルと標準モデルの性能を比較するとどうなるか？
• RQ5 本手法はノイズや未知の予測関数の数に対して頑健か？

主な発見

• 標準的な訓練手法は、複数の正確な意思決定ルールを複雑で密度の高いモデルに統合し、解釈が難しくなる。
• 提案された局所的独立性学習手法は、分解能の高いデータ分布から、個別で単純かつ解釈可能な関数（例：位置、スケール）を効果的に回復できた。
• dSpritesデータセットにおいて、局所的独立性学習は、単一の潜在要因（例：x座標、y座標）を分離するテストセットで、標準的な訓練法よりも顕著に高い精度を達成した。
• 本手法は、各モデルが1つの生成要因にのみ依存するモデルを回復した一方、標準モデルはすべての要因に感度を示し、より良い分解能が得られた。
• 潜在表現が完全に分解されていなくても、局所的独立性手法は標準的な訓練法よりも優れた分解能を達成した。
• 多様なモデルは完全な訓練精度を達成できなかったが、両者が同時に達成できない場合の、精度と独立性の滑らかなトレードオフを示している。