[论文解读] Designing generalisation evaluation function through human-machine dialogue

Patrick Taillandier, Julien Gaffuri|arXiv (Cornell University)|Apr 19, 2012

Music and Audio Processing参考文献 4被引用 1

一句话总结

本文提出一种人机对话方法，通过捕捉用户对制图化简后建筑物对象的成对比较偏好，迭代优化制图化简评估函数。利用禁忌搜索算法优化约束权重与幂参数，该方法在测试数据上将全局误差降低了11%，表明其在与初始专家设计函数相比更符合用户偏好。

ABSTRACT

Automated generalisation has known important improvements these last few years. However, an issue that still deserves more study concerns the automatic evaluation of generalised data. Indeed, many automated generalisation systems require the utilisation of an evaluation function to automatically assess generalisation outcomes. In this paper, we propose a new approach dedicated to the design of such a function. This approach allows an imperfectly defined evaluation function to be revised through a man-machine dialogue. The user gives its preferences to the system by comparing generalisation outcomes. Machine Learning techniques are then used to improve the evaluation function. An experiment carried out on buildings shows that our approach significantly improves generalisation evaluation functions defined by users.

研究动机与目标

• 解决自动化制图化简中有效评估函数设计的挑战，尽管用户能够用自然语言描述偏好，但这些偏好难以形式化指定。
• 通过从用户偏好中学习而非仅依赖专家定义的约束，提升评估函数的质量。
• 开发一种实用的交互式方法，使用户能够通过对比化简结果的判断来优化评估函数。
• 通过分析不一致的用户偏好，识别现有评估函数中缺失或错误的约束。
• 为制图化简中完全自动化、用户定制的评估函数学习奠定基础。

提出的方法

• 该方法为同一地理对象生成不同的化简结果对，形成用户评估的比较集合。
• 用户被呈现成对比较结果，并使用五级量表进行偏好打分：'明显更好'、'更好'、'略好'或'等同'。
• 用户偏好通过兼容性函数建模，该函数评估评估函数在每次比较中预测用户选择的能力。
• 全局误差函数定义为与当前评估函数不兼容的比较比例，通过禁忌搜索算法进行最小化。
• 优化目标为加权幂平均聚合函数中的各项约束权重（wi）与幂参数（p）：quality(gen) = [Σ(wi * Vali(gen)^p) / Σwi]^(1/p)。
• 该过程从专家设计的初始评估函数出发，通过每次仅修改一个参数的参数邻域探索，逐步优化。

实验结果

研究问题

• RQ1 通过成对比较制图化简特征所表达的用户偏好，能否有效引导评估函数的优化？
• RQ2 所学习的评估函数在与用户偏好一致性方面，与专家设计的基线函数相比表现如何？
• RQ3 初始评估函数在最终学习函数的收敛性与质量方面起到何种作用？
• RQ4 该方法能否识别出当前评估函数中未建模的缺失或错误约束？
• RQ5 该交互式方法在多大程度上能降低在测试比较集上预测用户偏好的全局误差？

主要发现

• 所学习的评估函数将学习集上的全局误差从初始函数的44.1%降低至27.4%，相对改进达37.9%。
• 在独立测试集上，全局误差从初始函数的40.1%降至29.0%，表明在与用户偏好一致性方面实现了11%的绝对改进。
• 该方法成功识别出化简后建筑物之间的方向差异是影响用户偏好的关键因素，而初始约束集未涵盖此因素。
• 对不兼容比较的分析揭示了缺失的约束（如方向敏感性），突显了初始评估函数的局限性。
• 禁忌搜索算法有效优化了参数空间，收敛至一个比专家提供的基线更符合用户判断的解。
• 结果表明，即使约束不完整或权重错误，用户通过成对比较提供的反馈也能有效引导评估函数的演化。