[論文レビュー] Counterfactual Language Model Adaptation for Suggesting Phrases

Kenneth C. Arnold, Kai-Wei Chang+1 more|arXiv (Cornell University)|Oct 4, 2017

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、リアルタイムの人的フィードバックを必要とせず、オフラインでのインタラクションログデータを用いて、ライターがより受け入れやすいフレーズ提案を生成する言語モデルを訓練するための反事後学習フレームワークを提案する。人間の好みを望ましさ関数としてモデル化し、反事後推定を用いて最適化することで、単純な判別型言語モデルでさえ、ユーザーが実際に受け入れるフレーズを提案する能力でベースラインモデルを上回ることを示した。

ABSTRACT

Mobile devices use language models to suggest words and phrases for use in text entry. Traditional language models are based on contextual word frequency in a static corpus of text. However, certain types of phrases, when offered to writers as suggestions, may be systematically chosen more often than their frequency would predict. In this paper, we propose the task of generating suggestions that writers accept, a related but distinct task to making accurate predictions. Although this task is fundamentally interactive, we propose a counterfactual setting that permits offline training and evaluation. We find that even a simple language model can capture text characteristics that improve acceptability.

研究の動機と目的

• 予測型言語モデルと実際にユーザーが受け入れる提案フレーズとの間のギャップを埋めること。
• 毎回のモデル更新時にリアルタイムの人的フィードバックを必要としない、フレーズ提案システムの訓練および評価手法を開発すること。
• 頻度を超えた好みのモデル化—語長やトーンなどのスタイル的・表現的選択を含めて—を実現すること。
• オフラインでの反事後推定が、より受け入れやすい提案を生成する言語モデルの訓練を効果的に導くことができることを示すこと。
• レストランレヴュー課題において、模擬ライターと実際の人のライターの両方を用いて、手法を検証すること。

提案手法

• ライターがレヴューを書く際のログを収集するために、基準方針（ベースライン言語モデル）をデプロイする。
• 観察された受容行動に基づき、たとえば長い単語や特定の品詞を好むなど、人間の好みを表す望ましさモデルを定義する。
• 反事後推定を用いて、基準方針のログデータのみを用いて、候補モデルの期待報酬（受容率）を計算する。
• 正則化として重みの切り捨て（M）を用いて、期待報酬を最大化するようにモデルパラメータを調整する凸最適化問題を定式化する。
• 反事後報酬をログからの抽出により微調整可能な判別型言語モデルを用いる。
• 交差検証を用いてホールドアウトデータ上で性能を評価し、最適化されたモデルの推定報酬をベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのインタラクションログのみを用いて、より受け入れやすいフレーズ提案を生成する言語モデルを訓練できるか？
• RQ2 フレーズ提案システムの文脈において、反事後推定は人的評価の信頼できる代理指標となるか？
• RQ3 ログに記録された人間の好みの信号を用いて微調整された単純な判別型言語モデルは、頻度ベースのベースラインを上回る性能を示せるか？
• RQ4 語長や品詞といった特定の好みの信号が、提案フレーズの受容性にどのように影響を与えるか？
• RQ5 反事後学習における正則化は、性能向上を維持しつつ過学習をどの程度防止できるか？

主な発見

• 反事後学習アプローチは、期待報酬を向上させるモデルパラメータを効果的に同定した。正則化のため、推定報酬は常に実際の報酬を下回っていたが、これは望ましい特性であった。
• 最適化されたモデルは、Mのすべてのテスト値において、推定報酬および実際の受容率の両面で、基準言語モデルおよび温度調整ベースラインを上回った。
• 適合したモデルは、6文字以上の単語や代名詞を好む傾向を学習しており、句読点を避けていることが判明し、データに観察された人間の好みと整合していた。
• 反事後推定値はホールドアウト評価における実際のパフォーマンスと良好に相関しており、オフラインでのモデル最適化に本手法の信頼性が裏付けられた。
• シミュレーションにより、真の人の好みモデルが分かっている状況でも、反事後推定フレームワークが優れた方針を正確に同定できることを確認した。
• 74名のMTurk作業者による人間評価では、システムは一般的に好意的に受け入れられ、作業者がアイデアを生み出し、表現を向上させるのに役立ったと報告された。