[論文レビュー] A Sea of Words: An In-Depth Analysis of Anchors for Text Data

Gianluigi Lopardo, Fŕed́eric Precioso+1 more|arXiv (Cornell University)|May 27, 2022

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 2

ひとこと要約

本稿は、テキストデータにおける Anchors の最初の理論的分析を提供し、全探索と TF-IDF ベクトル化の下でのそのメカニズムを形式化している。線形モデルにおいて、Anchors が逆文書頻度で再重み付けされた正の係数が最大の語を選択することを証明し、ニューラルネットワークにおいては部分微分を通じて類似する挙動を実証的に示しており、解釈可能なモデルにおけるこの手法の挙動に対する厳密な洞察を提供している。

ABSTRACT

Anchors (Ribeiro et al., 2018) is a post-hoc, rule-based interpretability method. For text data, it proposes to explain a decision by highlighting a small set of words (an anchor) such that the model to explain has similar outputs when they are present in a document. In this paper, we present the first theoretical analysis of Anchors, considering that the search for the best anchor is exhaustive. After formalizing the algorithm for text classification, we present explicit results on different classes of models when the vectorization step is TF-IDF, and words are replaced by a fixed out-of-dictionary token when removed. Our inquiry covers models such as elementary if-then rules and linear classifiers. We then leverage this analysis to gain insights on the behavior of Anchors for any differentiable classifiers. For neural networks, we empirically show that the words corresponding to the highest partial derivatives of the model with respect to the input, reweighted by the inverse document frequencies, are selected by Anchors.

研究の動機と目的

• テキスト分類のためのポストホック解釈性手法として広く用いられる Anchors の、厳密な理論的基盤を提供すること。
• 線形分類器や if-then ルールといった単純で解釈可能なモデルにおける Anchors の挙動を分析し、真の特徴重要度が既知である状況を対象とすること。
• 線形モデルやルールベースの分類器における理論的知見を、メカニズムがまだ十分に理解されていないような複雑なモデル（例：ニューラルネットワーク）へと拡張すること。
• 実データおよび合成データを用いた数値実験とモンテカルロシミュレーションを通じて、理論的主張の妥当性を検証すること。
• Anchors が安定的で意味的かつ予測可能な説明を生成するための条件を確立すること。

提案手法

• TF-IDF ベクトル化と未知語トークンの置換を仮定した上で、語の部分集合に対する全探索を用いてテキスト分類の Anchors を形式化する。
• 非アンカー語の確率的除去を i.i.d. ベルヌーイ抽出としてモデル化し、精度とカバレッジの確率的解析を可能にする。
• 精度関数の摂動に対して、全探索 Anchors アルゴリズムの安定性を証明し、そのロバストネスを保証する。
• 特に線形分類器およびルールベース分類器において、Anchors がモデル係数に基づいて語を選択する厳密な条件を導出する。
• ニューラルネットワークにおいては、Anchors が逆文書頻度でスケーリングされた正の部分微分が最大の語を選択することを実証的に検証する。
• モンテカルロシミュレーションと累積分布関数の比較を用いて、さまざまなパrameter設定下での理論的近似の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 線形分類器において、Anchors がモデル予測の最も重要な語を信頼性を持って特定する条件は何か？
• RQ2 基礎となるモデルが解釈可能な if-then ルールシステムである場合、Anchors はどのように振る舞うか？
• RQ3 単純なモデルから得た理論的保証を、微分可能な複雑なモデル（例：ニューラルネットワーク）へと拡張可能か？
• RQ4 Anchors の語選択と、深層学習モデルにおける勾配ベースの重要度（salience）の間にはどのような関係があるか？
• RQ5 逆文書頻度と語の出現回数（multiplicity）は、Anchors の説明の安定性と正確性にどのように影響を与えるか？

主な発見

• 線形分類器において、Anchors は逆文書頻度で再重み付けされた正の係数が最大の語を証明的に選択し、モデルの論理と整合することを保証する。
• if-then ルールモデルでは、Anchors は意味的な説明を生成するが、語の出現頻度が閾値を超えると、高頻度語が除外される可能性がある。
• ニューラルネットワークでは、Anchors は逆文書頻度でスケーリングされた正の部分微分が最大の語を選択し、勾配ベースの説明手法と関連づけられる。
• 全探索 Anchors アルゴリズムは、精度関数の摂動に対して安定しており、理論的ベンチマークとしての使用を正当化する。
• モンテカルロシミュレーションによる実証的検証により、特にアングルサイズが語彙サイズに比べて小さい場合に理論的近似が成立することが確認された。
• 図 12–13 は、冗長語を含む長いルールよりも、短くより具体的なルールを Anchors が好むことを示している。