[論文レビュー] Learning Autocomplete Systems as a Communication Game

Mina Lee, Tatsunori Hashimoto+1 more|arXiv (Cornell University)|Nov 16, 2019

Topic Modeling参考文献 33被引用数 7

ひとこと要約

本稿では、ユーザーがターゲット文の部分列（キーワード）を入力し、モデルがそれらを完全な文に復元する人間と機械の通信ゲームとして定式化された、解釈可能で教師なしの自動補完システムを提案する。キーワードスキームの制約下で効率性と正確性を最適化することで、77.37%の文カバレッジでルールベースのベースライン比52.16%高い正確性を達成し、ユーザースタディーでは入力時間のほぼ50%削減を実現した。

ABSTRACT

We study textual autocomplete---the task of predicting a full sentence from a partial sentence---as a human-machine communication game. Specifically, we consider three competing goals for effective communication: use as few tokens as possible (efficiency), transmit sentences faithfully (accuracy), and be learnable to humans (interpretability). We propose an unsupervised approach which tackles all three desiderata by constraining the communication scheme to keywords extracted from a source sentence for interpretability and optimizing the efficiency-accuracy tradeoff. Our experiments show that this approach results in an autocomplete system that is 52% more accurate at a given efficiency level compared to baselines, is robust to user variations, and saves time by nearly 50% compared to typing full sentences.

研究の動機と目的

• 人間と機械の通信において、効率性、正確性、解釈可能性のバランスをとった自動補完システムの設計。
• 高コストで静的であるため限界がある教師ありキーワード収集の問題と、しばしば解釈不能な通信スキームを生じるエンドツーエンドの教師なしモデルの問題に対処すること。
• 効率性と正確性の線形重み付けに起因する退化解を回避する安定なマルチ目的最適化フレームワークの開発。
• ユーザースタディーやアブレーションを通じて、学習された通信スキームの頑健性と人間の適応可能性の評価。

提案手法

• ユーザーのエンコードを、元の文から部分列としての確率的選択としてモデル化し、各トークンごとに学習可能なベルヌーイベースの保持確率を用いる。
• デコーダーはアテンションとコピーメカニズムを備えたシーケンス・ツー・シーケンスモデルを用い、キーワード列から完全な文を再構築する。
• 硬い正確性制約下での通信効率最適化を目的とした新規な目的関数を導入し、線形重み付けの目的関数に比べて安定性が向上する。
• キーワードを元の文の部分列に制限することで解釈可能性を強制し、人間が読みやすいことを保証する。
• 多目的最適化は制約付き最適化により実施され、モデルは意味のある内容語を保持しながらトークン数を最小化するように学習する。
• フレームワークは教師なしでエンドツーエンドに訓練され、再構築損失と効率コストが学習を導く。

実験結果

リサーチクエスチョン

• RQ1 教師なし通信スキームは、自動補完において、効率性、正確性、解釈可能性のバランスを取ることができるか？
• RQ2 元の文の部分列にキーワードを制限することで、性能を損なうことなく解釈可能性が向上するか？
• RQ3 効率性と正確性のバランスをとるうえで、線形重み付け最適化に比べ、提案された制約付き最適化目的関数はより安定的で効果的か？
• RQ4 エンコーダーとデコーダーの不一致やユーザーの差異に対して、学習された通信スキームはどれほど頑健か？
• RQ5 ユーザーはキーワードベースのシステムに適応でき、実世界の入力タスクで顕著な時間短縮を達成できるか？

主な発見

• 77.37%の文をカバーする条件下で、ルールベースのベースライン比52.16%高い正確性を達成し、固定された効率レベル下での優れた性能を示した。
• 制御されたユーザースタディーで、完全な文入力と比較してユーザーの入力時間をほぼ50%削減した。
• エンコーダーとデコーダーの不一致に対してもモデルは頑健であり、より緩い制約（εが大きい）で訓練されたデコーダーは、さまざまなエンコーダーに一般化して良好に動作した。
• 学習されたスキームは高い解釈可能性を示し、機能語（冠詞、代名詞など）に比べ、内容語（名詞、動詞、形容詞）の保持率が顕著に高かった。
• ランダム再起動によるトークンレベルの保持率のばらつきが見られたが、全体の保持率と正確性は安定しており、複数の近似的に最適な通信スキームが存在することが示唆された。
• 53.38%の文をカバーする条件下で、単純な重み付け最適化ベースラインに比べ11.73%高い正確性を達成し、制約付き目的関数の優位性を確認した。