[論文レビュー] Weakly Supervised Explainable Phrasal Reasoning with Neural Fuzzy Logic

Zijun Wu, Zi Xuan Zhang+4 more|arXiv (Cornell University)|Sep 18, 2021

Topic Modeling参考文献 35被引用数 5

ひとこと要約

本稿では、自然言語推論（NLI）のための弱教師付きニューラルファジィ論理モデル、説明可能フレーズ論理（EPR）を提案する。EPRはフレーズレベルの論理的関係（含意、矛盾、中立）を検出し、微分可能ファジィ論理を用いて文レベルのラベルを誘導する。e-SNLIにおいて、人間がアノテートした強調部分ではなく、モデルが生成する根拠のみを用いても、2ポイントのBLEU向上を達成し、テキスト説明生成の最先端性能を達成した。

ABSTRACT

Natural language inference (NLI) aims to determine the logical relationship between two sentences, such as Entailment, Contradiction, and Neutral. In recent years, deep learning models have become a prevailing approach to NLI, but they lack interpretability and explainability. In this work, we address the explainability of NLI by weakly supervised logical reasoning, and propose an Explainable Phrasal Reasoning (EPR) approach. Our model first detects phrases as the semantic unit and aligns corresponding phrases in the two sentences. Then, the model predicts the NLI label for the aligned phrases, and induces the sentence label by fuzzy logic formulas. Our EPR is almost everywhere differentiable and thus the system can be trained end to end. In this way, we are able to provide explicit explanations of phrasal logical relationships in a weakly supervised manner. We further show that such reasoning results help textual explanation generation.

研究の動機と目的

• 深層学習ベースのNLIモデルにおける解釈可能性の欠如に対処するため、弱教師付きの推論メカニズムを導入すること。
• 前提文と仮説文のフレーズ間で、明示的かつ人間が理解可能なフレーズ論理的関係（例：含意、矛盾）を可能にすること。
• 微分可能ファジィ論理式を用いて、フレーズレベルの予測から文レベルのNLIラベルを誘導すること。
• 自動抽出されたフレーズ論理的推論が、人間がアノテートした根拠を必要とせずに、テキスト説明生成の質を向上させることを実証すること。
• 人間がアノテートしたラベルと評価指標を備えた、フレーズ論理のための新しいベンチマークを開発すること

提案手法

• ニューラルフレーズチャンカを用いて前提文および仮説文内の意味的フレーズを検出し、その後、埋め込みベースのフレーズアライメントを実行する。
• 各アライメント済みフレーズペアを、3つのNLI関係（含意、矛盾、中立）のいずれかに分類するための微分可能フレーズ予測器を訓練する。
• ニューラルファジィ論理を用いて、フレーズレベルの予測結果を文レベルのNLIラベルに集約し、エンドツーエンドの学習を可能にする。
• フレーズレベルのアノテーションに代えて、文レベルのNLIラベルのみを用いて、弱教師付きで全システムを学習する。
• 予測されたフレーズ論理的関係を事実知識として活用し、序列変換型テキスト生成モデルの条件付けに用いることで、説明生成を実現する。
• 人間がアノテートしたフレーズラベルと指標を含む包括的な評価フレームワークを設計する

実験結果

リサーチクエスチョン

• RQ1 フレーズレベルのアノテーションを一切必要とせず、文レベルのNLIラベルのみを用いて、弱教師付きのフレーズ論理的推論を効果的に学習できるか？
• RQ2 ニューラルファジィ論理が、フレーズレベルの予測結果を文レベルのラベルに集約する微分可能で解釈可能なメカニズムを提供できるか？
• RQ3 抽出されたフレーズ論理的推論が、NLIにおける生成テキスト説明の質を向上させることができるか？
• RQ4 EPRの性能は、フレーズ論理と下流の説明生成の両分野において、強力なベースラインと比較してどうなるか？
• RQ5 EPRが自動的に生成するフレーズ根拠が、説明生成において人間がアノテートした強調部分を上回ることができるか？

主な発見

• EPRは、人間がアノテートしたラベルと比較して、競合モデルよりも顕著に高いF1スコアを達成し、意味的な論理的関係を的確に捉えられることを示した。
• e-SNLIデータセットにおいて、EPRが生成するフレーズ根拠のみを用いても、テキスト説明生成のBLEUスコアが42.63に達し、最先端の性能を達成した。人間がアノテートした強調部分を用いるモデルよりも2ポイント高い。
• 64MパラメータのT5-smallモデルをEPRで微調整した結果、220Mおよび11Bパラメータのより大きなモデルを上回る説明品質を達成した。これは、高品質な推論信号の価値を示している。
• モデルにおけるグローバル特徴の使用は、文レベルの正答率を高めるが、推論性能を低下させる傾向にあり、予測正答率と意味的な推論の間のトレードオフを示している。
• 制御実験において、EPRのフレーズ論理的推論出力は、人間がアノテートした強調部分よりもより価値のある情報を提供しており、同じ設定下で人間のアノテーションを用いる場合に比べて2ポイントのBLEU向上を示した。
• アブレーションスタディの結果、グローバル特徴を用いた平均集約では高い文レベル正答率が達成されるが、意味的なフレーズ論理的推論を学習できないことが確認され、明示的な推論コンponentの重要性が強調された。