[論文レビュー] ProtoryNet - Interpretable Text Classification Via Prototype Trajectories

Dat Hong, Tong Wang+1 more|arXiv (Cornell University)|Jul 3, 2020

Topic Modeling参考文献 42被引用数 7

ひとこと要約

ProtoryNetは、動的で変化する代表文の系列（プロトタイプ軌道）を用いてテキスト内の意味的進化をモデル化する、解釈可能な深層ニューラルネットワークである。各文を最も類似したプロトタイプにマッピングし、RNNを介してこれらのプロトタイプ遷移を追跡することで、細分化された人間が理解可能なモデル意思決定の解釈を可能にし、解釈可能なベースラインを上回る精度を達成するとともにブラックボックスモデルとの差を縮小する。また、プルーニング後のプロトタイプ数は約20個にまで削減される。

ABSTRACT

We propose a novel interpretable deep neural network for text classification, called ProtoryNet, based on a new concept of prototype trajectories. Motivated by the prototype theory in modern linguistics, ProtoryNet makes a prediction by finding the most similar prototype for each sentence in a text sequence and feeding an RNN backbone with the proximity of each sentence to the corresponding active prototype. The RNN backbone then captures the temporal pattern of the prototypes, which we refer to as prototype trajectories. Prototype trajectories enable intuitive and fine-grained interpretation of the reasoning process of the RNN model, in resemblance to how humans analyze texts. We also design a prototype pruning procedure to reduce the total number of prototypes used by the model for better interpretability. Experiments on multiple public data sets show that ProtoryNet is more accurate than the baseline prototype-based deep neural net and reduces the performance gap compared to state-of-the-art black-box models. In addition, after prototype pruning, the resulting ProtoryNet models only need less than or around 20 prototypes for all datasets, which significantly benefits interpretability. Furthermore, we report a survey result indicating that human users find ProtoryNet more intuitive and easier to understand than other prototype-based methods.

研究の動機と目的

• 長文シーケンスにおける感情の微細なダイナミクスや時間的シフトを捉えるために、文書レベルのプロトタイプの限界を克服すること。
• 複雑で直感的でない注意重みや潜在特徴の代わりに、人間が読みやすい代表文を用いてモデルの解釈性を向上させること。
• 信頼性の高いパフォーマンスを達成するために必要なプロトタイプ数を削減し、非技術者ユーザーの使いやすさを向上させること。
• 予測の背後にある推論プロセスを理解できるように、正確で直感的なモデルを設計すること。
• 高パフォーマンスを維持しながら、広範なハイパーパrameterチューニングを必要としない軽量で効率的なアーキテクチャを設計すること。

提案手法

• 訓練データから各クラスの典型的な表現を反映する代表文としてプロトタイプを定義する。
• 事前学習済みの文埋め込み（例：Universal Sentence Encoder）を用いて、各入力文と全プロトタイプとの間の意味的類似度を計算する。
• 各文を類似度が最も高いプロトタイプに割り当て、テキストの意味的焦点の変化を反映する「プロトタイプ軌道」とも呼ぶ、アクティブなプロトタイプの系列を形成する。
• プロトタイプの類似度スコア（すなわち、類似度スコアの系列）をRNNバックボーンに供給し、時間的ダイナミクスをモデル化して最終予測を生成する。
• 予測パフォーマンスへの寄与度に基づいて、重複しているか低効果なプロトタイプを削除するプロトタイププルーニング手順を適用し、モデルの複雑さを低減する。
• すべてのデータセットで共通のハイパーパrameter設定を用いることで、チューニングの必要性を最小限に抑え、実用的かつ使いやすい設計を実現する。

実験結果

リサーチクエスチョン

• RQ1 文書レベルのプロトタイプにとどまらず、長文シーケンスにおける感情や意味の動的進化を、プロトタイプ軌道が的確にモデル化できるか。
• RQ2 プロトタイプベースのモデルが、既存の解釈可能なベースラインを上回る精度を達成しつつ、高い解釈性を維持できるか。
• RQ3 プロトタイププルーニングによってプロトタイプ数がどれほど削減可能であり、パフォーマンスの低下を伴わずに解釈性を保てるか。
• RQ4 非専門家ユーザーは、他のプロトタイプベースのモデルと比較して、ProtoryNetの解釈性をどのように評価するか。
• RQ5 ハイパーパrameterチューニングを最小限に抑えても、モデルは強いパフォーマンスを維持できるか。また、エネルギー効率の良いAI（グリーンAI）用途に適しているか。

主な発見

• ProtoryNetは、複数の公開テキスト分類データセットにおいて、既存の解釈可能なベースラインを上回る予測精度を達成した。
• プロトタイププルーニング後、ProtoryNetモデルは全データセットで平均して約20のプロトタイプしか使用しないため、数百個のプロトタイプを必要とするベースラインと比較して、顕著に解釈性が向上した。
• ProtoryNetと最先端のブラックボックスモデル（例：Transformers）とのパフォーマンス差は著しく縮小され、強力な競争力を持つ性能を示した。
• 人間による評価では、ユーザーが他のプロトタイプベース手法よりもProtoryNetをより直感的で理解しやすいと評価しており、初心者ユーザーも熟練者と同等の解釈精度を達成した。
• 微調整を行わないバージョンのProtoryNetですでに解釈可能なベースラインを上回り、軽量でエネルギー効率の良い設計ゆえにグリーンAI応用の強力な可能性を示した。
• 単一の固定されたハイパーパラメータ設定で、複数のデータセットにわたって一貫したパフォーマンスを維持したため、モデルの頑健性と導入の容易さが示された。