[论文解读] Learning Autocomplete Systems as a Communication Game

Mina Lee, Tatsunori Hashimoto+1 more|arXiv (Cornell University)|Nov 16, 2019

Topic Modeling参考文献 33被引用 7

一句话总结

本文提出了一种无监督、可解释的自动补全系统，将其建模为一种人机通信游戏，用户输入关键词（目标句子的子序列），模型则将这些关键词解码为完整句子。通过在受限关键词方案下优化效率与准确性，该方法在77.37%的句子覆盖率下，相比基于规则的基线模型，准确率提高了52.16%，并在用户研究中将打字时间减少了近50%。

ABSTRACT

We study textual autocomplete---the task of predicting a full sentence from a partial sentence---as a human-machine communication game. Specifically, we consider three competing goals for effective communication: use as few tokens as possible (efficiency), transmit sentences faithfully (accuracy), and be learnable to humans (interpretability). We propose an unsupervised approach which tackles all three desiderata by constraining the communication scheme to keywords extracted from a source sentence for interpretability and optimizing the efficiency-accuracy tradeoff. Our experiments show that this approach results in an autocomplete system that is 52% more accurate at a given efficiency level compared to baselines, is robust to user variations, and saves time by nearly 50% compared to typing full sentences.

研究动机与目标

• 设计一种在人机通信中平衡效率、准确性和可解释性的自动补全系统。
• 解决监督式关键词收集方法成本高且静态的局限性，以及端到端无监督模型常产生不可解释通信方案的问题。
• 开发一种稳定、多目标优化框架，避免在效率与准确性线性加权时常见的退化解。
• 通过用户研究与消融实验，评估所学通信方案的鲁棒性与人类适应能力。

提出的方法

• 将用户编码建模为从源句中随机选择子序列，使用可学习的伯努利保留概率对每个词元进行建模。
• 解码器采用带有注意力机制和复制机制的序列到序列模型，从关键词序列重建完整句子。
• 提出一种新型目标函数，在硬性准确率约束下优化通信效率，相比线性加权目标更具稳定性。
• 通过将关键词限制为原始句子的子序列，强制实现可解释性，确保人类可读性。
• 通过约束优化实现多目标优化，模型学习保留有意义的内容词，同时最小化词元数量。
• 该框架端到端训练，无需监督，仅依赖重建损失和效率成本引导学习。

实验结果

研究问题

• RQ1 能否学习到一种无监督通信方案，在自动补全中实现效率、准确性和可解释性的平衡？
• RQ2 将关键词限制为源句的子序列是否能在不牺牲性能的前提下提升可解释性？
• RQ3 与线性加权优化相比，所提出的约束优化目标是否在平衡效率与准确性方面更具稳定性和有效性？
• RQ4 所学通信方案对编码器与解码器不匹配以及用户差异的鲁棒性如何？
• RQ5 用户能否适应基于关键词的系统，并在真实打字任务中实现显著的时间节省？

主要发现

• 当覆盖77.37%的句子时，该系统相比基于规则的基线模型，准确率提高了52.16%，在固定效率水平下表现出色。
• 在受控用户研究中，与完整句子输入相比，该系统将用户打字时间减少了近50%。
• 模型对编码器-解码器不匹配具有鲁棒性，经更宽松约束（更高ε）训练的解码器能更好地泛化到不同编码器。
• 所学方案具有高度可解释性，内容词（名词、动词、形容词）的保留率显著高于功能词（限定词、代词）。
• 尽管在不同随机重启下词元级保留率存在差异，但整体保留率与准确率保持稳定，表明存在多个近似最优的通信方案。
• 当覆盖53.38%的句子时，该系统相比朴素加权优化基线在准确率上高出11.73%，证实了约束目标的优越性。