[論文レビュー] Designing generalisation evaluation function through human-machine dialogue

Patrick Taillandier, Julien Gaffuri|arXiv (Cornell University)|Apr 19, 2012

Music and Audio Processing参考文献 4被引用数 1

ひとこと要約

本稿では、一般化された建物オブジェクトの対比較を通じてユーザーの好みを捉えることで、反復的に地図一般化評価関数を改善する人間・機械間対話的手法を提案する。制約の重みとべき乗パラメータを最適化するためのタブー探索を用い、テストデータ上で全体誤差を11%低減した。初期の専門家設計関数に比べ、ユーザーの好みとの整合性が向上していることを示している。

ABSTRACT

Automated generalisation has known important improvements these last few years. However, an issue that still deserves more study concerns the automatic evaluation of generalised data. Indeed, many automated generalisation systems require the utilisation of an evaluation function to automatically assess generalisation outcomes. In this paper, we propose a new approach dedicated to the design of such a function. This approach allows an imperfectly defined evaluation function to be revised through a man-machine dialogue. The user gives its preferences to the system by comparing generalisation outcomes. Machine Learning techniques are then used to improve the evaluation function. An experiment carried out on buildings shows that our approach significantly improves generalisation evaluation functions defined by users.

研究の動機と目的

• 自動地図一般化のための効果的な評価関数を設計する課題に取り組む。これは、ユーザーが自然言語で好みを説明できるものの、形式的に明示することが難しい。
• 専門家が定義した制約に依存するのではなく、ユーザーの好みから学習することで、一般化評価関数の品質を向上させること。
• ユーザーが一般化結果の比較的判断を通じて評価関数を精緻化できる、実用的でインタラクティブな手法を開発すること。
• 一貫性のないユーザーの好みを分析することで、既存の評価関数に欠落しているまたは誤った制約を同定すること。
• 地図一般化における完全自動的かつユーザー固有の評価関数学習の基盤を築くこと。

提案手法

• 同じ地理的オブジェクトに対して異なる一般化を生成し、ユーザー評価用の比較セットを形成する。
• ユーザーには対比較が提示され、『はるかに良い』、『良い』、『やや良い』、または『同等』の五段階スケールで好みを割り当てる。
• ユーザーの好みは、評価関数が各比較におけるユーザーの選択をどの程度うまく予測できるかを評価する適合関数でモデル化される。
• グローバル誤差関数は、現在の評価関数と一致しない比較の割合として定義され、タブー探索アルゴリズムによって最小化される。
• 最適化の目的は、重み付きべき乗平均集約関数における個々の制約の重み（wi）とべき乗パラメータ（p）である：quality(gen) = [Σ(wi * Vali(gen)^p) / Σwi]^(1/p)。
• 専門家が設計した初期評価関数から出発し、一度に一つのパrameterのみを変更するパラメータ近傍を探索することで、反復的に改善する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが一般化された地図特徴の対比較を通じて表現する好みが、評価関数の精緻化を効果的に導くことができるか？
• RQ2 学習された評価関数の性能は、専門家設計ベースラインと比較して、ユーザー好みとの整合性においてどのように異なるか？
• RQ3 初期評価関数は、最終的な学習関数の収束性と品質にどのような役割を果たすか？
• RQ4 本手法は、評価関数にまだモデル化されていない制約や誤った制約を同定できるか？
• RQ5 このインタラクティブ手法は、比較のテストセット全体でユーザー好みの予測誤差をどの程度低減できるか？

主な発見

• 学習された評価関数は、学習セットにおけるグローバル誤差を初期関数の44.1%から27.4%に低下させ、相対的に37.9%の改善を達成した。
• 独立したテストセットでは、グローバル誤差が初期状態の40.1%から29.0%に低下し、ユーザー好みとの整合性において11%の絶対的改善が確認された。
• 本手法は、一般化された建物間の方向性の違いがユーザー好みの主要要因であることを明確に同定したが、これは初期の制約セットでは捉えられていなかった。
• 一致しない比較の分析から、方向性の感受性といった欠落した制約が判明し、初期評価関数の限界が浮き彫りになった。
• タブー探索アルゴリズムは、パラメータ空間を効果的に最適化し、専門家が提供したベースラインよりもユーザーの判断と整合性の高い解決に収束した。
• 結果から、制約が不完全または不適切に重み付けされている場合でも、ユーザーのフィードバックを対比較を通じて得ることで、評価関数の進化を効果的に導けることが示唆された。