[論文レビュー] My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism

Swapnil Parekh, Yaman Kumar+3 more|arXiv (Cornell University)|Dec 27, 2020

Topic Modeling参考文献 20被引用数 7

ひとこと要約

本稿は、統合勾配を用いた語レベルの帰属度分析を通じて、深層学習ベースの自動エッセイ採点（AES）モデルの解釈可能性を調査する。その結果、AESモデルはエッセイを『語のスープ』として扱うことが判明した—文脈、順序、一貫性に関係なく、スコアを決定するのは高帰属度語のわずかなサブセット（例：SkipFlowでは31%、Memory Networkでは51%）に限られる。これらのモデルは、『世界は平らだ』のような事実誤認を挿入するなど、敵対的摂動に対して脆弱であり、意味的理解ではなく孤立したキーワードに依存しているため、スコアが上昇する傾向にある。

ABSTRACT

Significant progress has been made in deep-learning based Automatic Essay Scoring (AES) systems in the past two decades. However, little research has been put to understand and interpret the black-box nature of these deep-learning based scoring models. Recent work shows that automated scoring systems are prone to even common-sense adversarial samples. Their lack of natural language understanding capability raises questions on the models being actively used by millions of candidates for life-changing decisions. With scoring being a highly multi-modal task, it becomes imperative for scoring models to be validated and tested on all these modalities. We utilize recent advances in interpretability to find the extent to which features such as coherence, content and relevance are important for automated scoring mechanisms and why they are susceptible to adversarial samples. We find that the systems tested consider essays not as a piece of prose having the characteristics of natural flow of speech and grammatical structure, but as `word-soups' where a few words are much more important than the other words. Removing the context surrounding those few important words causes the prose to lose the flow of speech and grammar, however has little impact on the predicted score. We also find that since the models are not semantically grounded with world-knowledge and common sense, adding false facts such as ``the world is flat'' actually increases the score instead of decreasing it.

研究の動機と目的

• 最先端の深層学習ベースAESモデルのブラックボックス的採点メカニズムを理解すること。
• これらのモデルが意味的に一貫性のない、あるいは事実誤認のあるエッセイに対しても高得点を付ける理由を調査すること。
• 一貫性、内容、関連性、事実の正確性といった言語的特徴が自動採点に与える影響を評価すること。
• 語レベルの重要度は保ったまま意味や構造を破壊する敵対的摂動に対してAESモデルのロバスト性を評価すること。
• モデルの解釈可能性を活用して、より効果的なテストが可能な敵対的摂動技術の改善を図ること。

提案手法

• 著者らは、与えられたエッセイの予測スコアに最も影響を与える語を特定するために、統合勾配を用いて語レベルの感度マップを計算する。
• スコアを維持したまま高帰属度語を削除または再配置することで、モデルのロバスト性を評価し、文脈や語順に対して感度が低いことを示す。
• 敵対的テストとして、『世界は平らだ』などの事実誤認を挿入し、スコアの変化を測定する。
• スコアの安定性を評価するため、2つの最先端モデル—SkipFlow（一貫性に基づく）とMemory Network（最先端）—を比較する。
• 帰属度スコアに基づく20%の語の削除とランダム削除を比較し、帰属度に従った削除が予測スコアにほとんど影響しないことを示す。
• 語彙の難易度の影響を検討し、『legerdemain』 や『propinquity』 といったレア語彙が、報酬ではなくペナルティとして扱われることを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースAESモデルは、エッセイ内の個々の語に対してどのように重要度を割り当てるか？
• RQ2 なぜAESモデルは『世界は平らだ』のような事実誤認を含むエッセイに対しても高得点を付けるのか？
• RQ3 モデルの予測が語順、文脈、意味的一貫性にどの程度依存しているか？
• RQ4 帰属度に基づく摂動とランダム摂動は、予測スコアの維持においてどのように比較されるか？
• RQ5 レア語彙や難解語彙が、現代のAESモデルの採点メカニズムにおいて果たす役割は何か？

主な発見

• SkipFlowモデルは、統合勾長によって特定された最重要語のうち31%のみを用いても、元のエッセイのスコアを再現できる。
• Memory Networkベースのモデルは、最高帰属度語のうち51%のみで元のスコアを維持でき、少数のキーワードに強く依存していることが示された。
• 高帰属度語の文脈を削除しても予測スコアにほとんど影響がないため、モデルは意味的・構文的構造を理解していないことが示唆される。
• 上位帰属度語の語順を再配置しても予測スコアに顕著な変化がないため、語順が無関係である『語のスープ』的行動が確認された。
• 『世界は平らだ』のような事実誤認を挿入するとスコアが上昇するため、モデルは世界知識や意味的真実に根拠を置いていないことが示された。
• 『legerdemain』 や『propinquity』 といったレア語彙や低頻度語彙は、否定的に評価され、AESモデルが難解語彙を好むという主張とは矛盾する。