[論文レビュー] Interpreting Neural Network Judgments via Minimal, Stable, and Symbolic Corrections

Xin Zhang, Armando Solar-Lezama+1 more|arXiv (Cornell University)|Feb 21, 2018

Data Visualization and Analytics被引用数 10

ひとこと要約

本稿では、ReLU活性化関数を備えたニューラルネットワークに対して、最小で安定的かつ記号的な補正を生成する最初のアルゴリズムであるPolarisを提案する。これは、モデルが望ましくない判断を下した際に、実行可能なフィードバックを提供する。Gurobiを用いて一連の線形制約充足問題を解くことで、入力空間における小さな変更が望ましい出力変化をもたらす記号的領域を同定し、実用的モデルにおいて平均12分の補正時間を達成した。

ABSTRACT

We present a new algorithm to generate minimal, stable, and symbolic corrections to an input that will cause a neural network with ReLU activations to change its output. We argue that such a correction is a useful way to provide feedback to a user when the network's output is different from a desired output. Our algorithm generates such a correction by solving a series of linear constraint satisfaction problems. The technique is evaluated on three neural network models: one predicting whether an applicant will pay a mortgage, one predicting whether a first-order theorem can be proved efficiently by a solver using certain heuristics, and the final one judging whether a drawing is an accurate rendition of a canonical drawing of a cat.

研究の動機と目的

• 深層学習モデルが望ましくない二値判断を下した際の、実行可能なフィードバックの欠如に取り組むこと。特に、ローン承認や採用など、高リスク分野において重要である。
• 入力に対する小さな変更（最小性）、小さな摂動に対して頑健（安定性）であり、特徴量間の関係を表現する（記号的）補正を生成する手法を開発すること。
• 単に特徴量の重要性やプロトタイプを提示するのではなく、「DTIを10%低下させればローンが承認された」といった、解釈可能で実行可能なイン사이트（例：「10%のDTI低下でローン承認」）をユーザーに提供すること。
• 住宅ローンの審査、定理証明、描画認識を含む実世界のモデルを対象に評価し、多様な分野にわたり実用的であることを示した。

提案手法

• 補正生成問題を、ReLUネットワークの区分線形性を活用した一連の線形制約充足問題として定式化する。
• Gurobiの線形プログラミングソルバを用いて、最小の変更で望ましい出力シフトを達成できる入力空間の妥当領域を同定する。
• 元の入力に最も近い領域を優先しながら、安定性と記号的表現の明確さを維持する形で、候補となる補正領域を段階的に探索する。
• ネットワーク出力に与える影響に基づき、動的に変更すべき入力特徴量を選択し、探索をガイドする生成戦略を用いる。
• 入力変数に関する線形不等式によって定義されるハイパーレクタングルや多面体領域を特定することで、記号的補正を保証する。
• LPソルバのインスタンス作成を最適化し、検討する領域の数を制限することで、探索と効率性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークが特定の判断を下した理由を説明する、最小で安定的かつ記号的な補正を自動的に生成することは可能か？
• RQ2 補正が最小（実行可能）かつ小さな入力変動に対して頑健（安定）であることをどのように保証できるか？
• RQ3 入力特徴量間の関係を表現する記号的補正は、単一の点や1特徴量ずつのフィードバックと比較して、ユーザーの理解をどの程度向上させるか？
• RQ4 実世界の判断タスクにおいて、異なるネットワークアーキテクチャーや入力次元数の変化に伴い、このアルゴリズムはどのようにスケーリングするか？
• RQ5 高次元または連続的入力空間において、グリッドベースのサンプリングに比べて、この手法は性能を上回るのか？

主な発見

• 小規模だが現実的なニューラルネットワークにおいて、平均して12分未満で記号的補正を生成でき、実用的な妥当性を示した。
• 住宅ローンの審査モデルでは、2.4単位の体積を持つ補正を102秒で発見し、1インスタンスあたりの実際の解法に費やした時間はたった1msであった。
• 描画認識タスクでは、最大20の特徴量を有する高次元入力に対しても、解法時間は7msにまでしか増加しなかったため、入力サイズに伴う良好なスケーラビリティを示した。
• グリッドベースのサンプリングに比べて顕著に優れており、20の特徴量に3値ずつを割り当てると、30億を超えるサンプルが必要となり、現実的でないことが判明した。
• 実行時間の98％以上がLPインスタンス作成に費やされており、低水準言語バインディングを用いた最適化の余地が示唆された。
• 定理証明および描画認識タスクでは、最大領域数（m=1000）に達したため、複雑な分野においても高い探索効率であることが示された。