[論文レビュー] Recommender Systems for Configuration Knowledge Engineering

Alexander Felfernig, Stefan Reiterer+4 more|arXiv (Cornell University)|Feb 16, 2021

Product Development and Customization参考文献 17被引用数 19

ひとこと要約

本稿では、推薦システムを構成知識工学に統合することで、知識工学のボトル neck を軽減し、知識ベースの開発および保守を支援することを提案する。制約、変数、リファクタリング操作のための協調フィルタリング、コンテンツベースのクラスタリング、知識ベースの推薦を導入し、実験的結果から、含意に基づく表現（例：X→Y）は他の論理的表現形式と比較して、理解度を向上させ、誤りを大幅に削減することが示された。

ABSTRACT

The knowledge engineering bottleneck is still a major challenge in configurator projects. In this paper we show how recommender systems can support knowledge base development and maintenance processes. We discuss a couple of scenarios for the application of recommender systems in knowledge engineering and report the results of empirical studies which show the importance of user-centered configuration knowledge organization.

研究の動機と目的

• コンフィギュレータプロジェクトにおける継続的な知識工学のボトル neck を解消し、知識ベースの開発および保守における効率性を向上させること。
• 知識エンジニアとドメイン専門家が、複雑な構成知識ベースをナビゲートし、理解し、デバッグできるように支援すること。
• 推薦システムが、ユーザの行動および知識構造に基づいて、能動的に関連する構成要素（例：制約、変数、リファクタリング操作）を提案できるかを調査すること。
• 異なる論理的表現形式（例：含意対排他的論理）が、構成タスクにおけるユーザの理解度および誤り率に与える影響を評価すること。
• 認知プロセスおよびユーザビリティ研究に根ざした推薦を基盤とすることで、実証的知識工学分野を前進させること。

提案手法

• 類似した知識エンジニアのナビゲーションパターンに基づいて、協調フィルタリングを適用し、制約を推薦する。ユーザのアクセスシーケンスを用いて最近傍のユーザを特定し、次に可能性の高い行動を予測する。
• 特徴記述子（例：キーワード、論理的構造）から得られる類似度メトリクスを用いて、コンテンツベースのクラスタリングを制約に適用し、意味的または構造的に類似した制約をグループ化する。
• 制約のパターンを分析し、ドメイン固有のルールや変換ヒューリスティクスを適用することで、リファクタリング操作のための知識ベースの推薦を実装する。
• コンピュータサイエンスの学生を対象とした制御実験を設計し、制約充足問題における異なる制約表現の使いやすさおよび認知的負荷を評価する。
• 被験者内設計を用いて、requiresおよび不適合制約の5種類の異なる論理的表現形式における誤り率および解決策同定パフォーマンスを比較する。
• ユーザの現在のタスク、知識水準、知識工学環境における相互作用履歴に応じて、推薦をカスタマイズする適応型ユーザインターフェース技術を統合する。

実験結果

リサーチクエスチョン

• RQ1 ユーザのナビゲーション行動に基づいて、協調フィルタリングの推薦システムが関連する構成制約を効果的に提案できるか？
• RQ2 コンテンツベースのクラスタリングが、大規模な構成知識ベースの整理およびナビゲーション性をどの程度向上できるか？
• RQ3 requiresおよび不適合制約のどの論理的表現形式（例：X→Y、¬X∨Y、¬(X∧¬Y)）が、構成タスクにおける理解度を最も高め、誤り率を最も低く抑えるか？
• RQ4 異なる制約表現形式が、制約充足問題における解決策同定の時間および正確性にどのように影響するか？
• RQ5 リファクタリング操作のための知識ベースの推薦は、保守作業の負荷を軽減し、構成システムにおける知識ベースの品質を向上させることができるか？

主な発見

• 含意に基づく表現形式 X→Y は、requires制約の解決策同定において最小の誤り率（21.43％）を達成し、¬X∨Y（50.0％）や¬Y→¬X（96.43％）といった他の形式を上回った。
• 逆含意 Y→¬X は中程度のパフォーマンス（50.0％の誤り）を示したが、より高い理解度と低い認知的負荷が評価されたため、標準的な含意 X→Y が優れた選択とされた。
• コンテンツベースのクラスタリングは、意味的に類似した制約を効果的にグループ化でき、大規模な知識ベースにおけるナビゲーション性の向上と検索時間の短縮に寄与した。
• ナビゲーションシーケンスに基づく協調フィルタリングの推薦は、最近傍のユーザ間で高い一貫性を示し、次に検討する可能性の高い制約を的確に予測できた。
• 同じ知識ベース内で複数の制約表現形式を併用すると、顕著な混乱が生じ、¬(X∧¬Y) のような複雑な論理形式を用いると誤り率が最大73.08％まで上昇した。
• 実験的結果から、基本的な含意表現（→）は排他的論理や否定形よりも直感的で、誤りが生じにくく、知識工学ツールへの採用を支持するものであることが確認された。