[論文レビュー] Text as Environment: A Deep Reinforcement Learning Text Readability Assessment Model

Hamid Mohammadi, Seyed Hossein Khasteh+2 more|arXiv (Cornell University)|Dec 12, 2019

Text Readability and Simplification被引用数 13

ひとこと要約

本稿では、ハード注目とアクティブインファレンスを用いた深層強化学習モデルRAITを提案する。RAITは最小限の入力でテキストの読みやすさを評価し、BERTの入力長の半分未塔の長さで最先端の精度を達成する。強化学習により情報を含むテキスト窓を動的に選択することで、計算負荷を低減しながら、WeebitおよびCambridge Examsデータセットで高い性能を維持する。

ABSTRACT

Evaluating the readability of a text can significantly facilitate the precise expression of information in written form. The formulation of text readability assessment involves the identification of meaningful properties of the text regardless of its length. Sophisticated features and models are used to evaluate the comprehensibility of texts accurately. Despite this, the problem of assessing texts' readability efficiently remains relatively untouched. The efficiency of state-of-the-art text readability assessment models can be further improved using deep reinforcement learning models. Using a hard attention-based active inference technique, the proposed approach makes efficient use of input text and computational resources. Through the use of semi-supervised signals, the reinforcement learning model uses the minimum amount of text in order to determine text's readability. A comparison of the model on Weebit and Cambridge Exams with state-of-the-art models, such as the BERT text readability model, shows that it is capable of achieving state-of-the-art accuracy with a significantly smaller amount of input text than other models.

研究の動機と目的

• 既存のテキストの読みやすさモデルが、部分的な入力で十分に正確な評価が可能なにもかかわらず、全テキストを処理する非効率性に対処すること。
• 自己注意機構を小さな動的入力窓に制限することで、トランスフォーマー基盤モデルの計算複雑度を低減すること。
• 強化学習を用いて、読みやすさ分類に最も情報を含むテキストセグメントを知的に選択する手法を開発すること。
• 入力長と推論遅延を顕著に短縮しながら、フルシーケンスBERTモデルと同等の高い精度を維持すること。
• ドメイン分解を注目メカニズムに適用することで、NLPタスクにおけるアクティブインファレンスの実現可能性を検討すること。

提案手法

• モデルは、エージェントが一度に小さな連続的な語の窓しか観測できないハード注目メカニズムを採用しており、『読む』プロセスを模倣する。
• 強化学習を用いて、エージェントが『左に移動』『右に移動』『停止』という行動を取ることで、テキストをナビゲートし、最適な観測窓を選択するように訓練する。
• エージェントの方策は、読みやすさ予測精度を最大化するとともに、観測窓の数を最小化する強化学習損失関数によって最適化される。
• 入力テキストを部分問題に分割するドメイン分解法（DDM）を適用し、部分的表現を統合するグローバル解の集約を強化学習によって実施する。
• モデルは特徴抽出のための事前学習済みBERTエンコーダを統合しており、強化学習エージェントが入力窓のサイズと位置を制御する。
• 式5および式6は、複数の窓からの部分的予測を統合して最終的な読みやすさ意思決定を形成するグローバル解の集約戦略を記述する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、精度を損なわずに、テキストの読みやすさ評価のための入力サイズを効果的に短縮できるか？
• RQ2 アクティブインファレンスによる動的窓選択は、固定窓またはフルシーケンス注目と比較して、計算効率および精度の面でどのように異なるか？
• RQ3 自己注意のドメイン分解は、読みやすさタスクにおけるトランスフォーマーモデルの計算複雑度をどの程度低減できるか？
• RQ4 最小限のラベル付きデータで、半教師あり信号を活用してエージェントを訓練できるか、かつ高い性能を維持できるか？
• RQ5 本モデルは、教育、医療、ソーシャルメディアなどの異なるテキストタイプやドメインに一般化可能か？

主な発見

• RAITはWeebitおよびCambridge Examsデータセットで最先端の精度を達成し、それぞれF1スコアが0.943および0.762を記録したが、256語の入力窓を使用した場合でも同様の性能を示した。
• 64語の窓を使用した場合、推論遅延を2.1msまで短縮したが、フルBERTの12.6msと比較して、F1スコアは93.8%および75.5%を維持した。
• 入力長が制限された状況で、RAITはBERTおよびConvLSTMモデルを上回り、リソースが限られた環境でも優れた効率性を示した。
• 256語、128語、64語の窓サイズでは、平均してそれぞれ1.2、1.7、2.1回の窓観測で済ませており、効果的なサンプリングが可能であることを示した。
• 強化学習に基づくグローバル集約戦略により、自己注意の範囲が限定された影響を緩和し、文脈が制限されても精度を維持できた。
• RAITのフル窓バージョン（100%入力）は、標準BERTと同等の精度（WeebitではF1 = 0.943）を示し、本手法がフル入力シナリオとも互換性があることを確認した。