[論文レビュー] What do Deep Networks Like to Read?

Jonas Pfeiffer, Aishwarya Kamath+2 more|arXiv (Cornell University)|Sep 10, 2019

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本稿では、固定された分類器の勾配を用いて自己符号化器を微調整することで、NLPにおける深層ニューラルネットワークの好みを明らかにする、新しい抽象的（abstractive）手法SIFT（Susceptibility Identification through Fine-tuning）を紹介する。この手法は、事前の仮定なしに、モデル固有の傾向やアーチファクト（例：バイアス誘発要因となる語句）を特定し、既知のデータアーチファクトと強い相関を示すとともに、複数のモデルとタスクにおいて新たなアーチファクトを同定した。

ABSTRACT

Recent research towards understanding neural networks probes models in a top-down manner, but is only able to identify model tendencies that are known a priori. We propose Susceptibility Identification through Fine-Tuning (SIFT), a novel abstractive method that uncovers a model's preferences without imposing any prior. By fine-tuning an autoencoder with the gradients from a fixed classifier, we are able to extract propensities that characterize different kinds of classifiers in a bottom-up manner. We further leverage the SIFT architecture to rephrase sentences in order to predict the opposing class of the ground truth label, uncovering potential artifacts encoded in the fixed classification model. We evaluate our method on three diverse tasks with four different models. We contrast the propensities of the models as well as reproduce artifacts reported in the literature.

研究の動機と目的

• 抽出的レゾンデートゥや事前に定義されたプローブタスクを超えたニューラルネットワークの好みの理解のギャップを埋める。
• 事前の知識を強制せず、分類器が本質的に「読みたい」とするものを明らかにする、ボトムアップ的で抽象的な手法を開発する。
• 統一されたフレームワークを用いて、事前学習済み分類器に埋め込まれたモデル固有のバイアスやアーチファクトを特定・分析する。
• LSTM、CNN、DANといった異なるアーキテクチャと、感情分析、NLI、PubMed分類といった異なるタスクにおけるモデルの好みを比較する。
• 生成された反事実的入力が分類器の予測を逆転させる能力を評価し、埋め込まれたアーチファクトに焦点を当てる。

提案手法

• ストレートスラッシュGumbel-Softmax推定法を用い、固定された事前学習済み分類器の勾配を利用して自己符号化器（AE）を微調整する。
• 分類器が有用とみなす情報のみを保持する形で、入力シーケンスを再構築するAEを用い、分類器の好みを明らかにする。
• SST-2、SNLI、PubMedなどの文レベルおよび文対分類タスクに本手法を適用し、モデルの傾向を抽出する。
• 元の入力と生成された文の埋め込みベクトル間のコサイン類似度が大きくならないよう制約を課す再構築損失を導入し、一貫性を確保する。
• 微調整中に正解ラベルを反転させることで、分類器が逆クラスを予測する入力を生成し、埋め込まれたアーチファクトを露呈する。
• PMI（ポイントワイズ相互情報量）から抽出された語句とSIFTで抽出された語句を比較し、データレベルのアーチファクトとモデルレベルの符号化との整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるニューラルネットワークアーキテクチャが予測を行う際に、どのような言語的パターンや語句を好むのか。
• RQ2 分類器が予測に影響を与えるデータレベルのアーチファクト（例：特定の語句やフレーズ）をどの程度符号化しているのか。
• RQ3 SIFTのような抽象的で教師なしの手法が、事前の仮定なしにモデル固有のバイアスや好みを特定できるか。
• RQ4 SIFTで生成された反事実的入力は、先行研究で報告された既知のアーチファクトとどの程度整合するか。
• RQ5 SIFTは、従来の統計的手法（PMIなど）で同定されたものとは異なる新たなアーチファクトを明らかにできるか。

主な発見

• SIFTは、アーキテクチャに応じたモデル固有の傾向を効果的に特定でき、例としてLSTMモデルが「love」や「bad」のような感情を含む語句を好む傾向を示した。
• SST-2の感情分析タスクにおいて、SIFTで抽出された語句とPMI語句との間には、重み付きケンダールのtau相関係数0.486の相関が認められ、既知のデータレベルのアーチファクトと整合していることが示された。
• PubMed分類タスクにおいては、SIFTが文脈的に関連する語句（例：'objective' → 'conclusion'）を同定したが、これらはPMIと相関しなかったため、事前学習によるより深い意味的パターンの符号化が行われている可能性を示唆した。
• SNLIタスクでは、既知のアーチファクト（例：'sleeping'、'cats'、'cat'）が影響力を持つことがSIFTで特定され、PMIとの相関係数が0.366に達した。これは、SIFTが既知のバイアスに感受性を示していることを確認した。
• ラベル反転設定下で、SIFTは分類器の予測を逆転させる入力を98–99％の正確度で生成でき、モデル行動を効果的に引き出す能力を示した。
• SIFTは、モデルが表面的なキーワードだけでなく、特に大規模な未ラベルデータで事前学習された場合に、意味的・文脈的ヒントも符号化していることを明らかにした。