[論文レビュー] Session Analysis using Plan Recognition

Reuth Mirsky, Kobi Gal+1 more|arXiv (Cornell University)|Jun 20, 2017

Speech and dialogue systems参考文献 14被引用数 6

ひとこと要約

本稿では、探索的でノイズの多い金融Webインターフェースにおける顧客のクリックストリームデータを分析するために、階層的タスクネットワーク（HTN）を用いた新しい計画認識アプローチを提案する。低レベルのUIアクションをドメイン固有の計画ライブラリに直接統合し、フィルタリングヒューリスティクスを適用することで、セッション分析のオーバーヘッドを83%削減し、リアルタイムでの不正検出、意図予測、能動的検証を高精度で実現した。実世界のユースケースにおいて有効である。

ABSTRACT

This paper presents preliminary results of our work with a major financial company, where we try to use methods of plan recognition in order to investigate the interactions of a costumer with the company's online interface. In this paper, we present the first steps of integrating a plan recognition algorithm in a real-world application for detecting and analyzing the interactions of a costumer. It uses a novel approach for plan recognition from bare-bone UI data, which reasons about the plan library at the lowest recognition level in order to define the relevancy of actions in our domain, and then uses it to perform plan recognition. We present preliminary results of inference on three different use-cases modeled by domain experts from the company, and show that this approach manages to decrease the overload of information required from an analyst to evaluate a costumer's session - whether this is a malicious or benign session, whether the intended tasks were completed, and if not - what actions are expected next.

研究の動機と目的

• 金融アプリケーションに一般的に見られるオープンエンドで探索的なWebインターフェースにおいて、ユーザーの意図を推定する課題に対処すること。
• 生のクリックストリームデータを構造的で解釈可能な計画説明に変換することで、人間のアナリストの認知的および分析的負担を軽減すること。
• ユーザーの意図と期待される行動からの逸脱を予測することで、リアルタイムでの不正検出と能動的検証を可能にすること。
• 現実のユーザーインタラクションに内在する外部要因の行動、誤り、タスクの重ね合わせを処理できる計画認識システムを構築すること。
• 冗長な説明を削減しつつ意味のある意図推定を保持するフィルタリング機構の有効性を評価すること。

提案手法

• アプローチは、目的、非終端記号、終端記号、およびタスク分解の導出規則をエンコードする、階層的タスクネットワーク（HTN）計画ライブラリをコアドメインモデルとして用いる。
• 低レベルのUIアクション（例：ページ訪問、クリック）は、別個のアクティビティ認識ステップを経ずに、計画ライブラリ内の終端記号に直接マッピングされる。
• 計画認識アルゴリズム（CRADLE）は、部分的なアクションシーケンスに対して段階的推論を実行し、計画ライブラリに基づいて候補となる説明を生成する。
• フィルタリング機構により説明の冗長性を低減し、ドメインに依存しないしきい値を適用する：(1) 平均計画数以下、(2) 平均フロントイェルドノード数以下、(3) 4種類以下の異なる計画。
• 外部要因の行動や誤りは、認識された計画と一致しない場合、説明から除外することで処理される。
• 性能評価は、3つの実世界のセッションタイプ（購入、アカウント追加（既存ユーザー）、アカウント追加（新規ユーザー））において、CRADLEとベースラインアルゴリズムPHATTを比較することで実施された。

実験結果

リサーチクエスチョン

• RQ1 ボトムアップのUIデータからの計画認識は、探索的でノイズの多い金融Webセッションにおいて、ユーザーの意図を効果的に推定できるか？
• RQ2 フィルタリング機構は、意味のある意図検出を損なわずに、冗長な説明の数をどの程度削減できるか？
• RQ3 本手法は、実世界のクリックストリームデータにおいて、説明セットのサイズと実行時間の点で、既存の計画認識アルゴリズムと比較してどのように差をつけるか？
• RQ4 期待される計画の経路からの逸脱を特定することで、未完了または悪意のあるセッションを検出できるか？
• RQ5 最低レベルの認識段階でドメイン知識（計画ライブラリ）を統合することで、推論の正確性が向上し、外部のアクティビティ認識に依存する必要が軽減されるか？

主な発見

• CRADLEアルゴリズムは、生のクリックストリームデータと比較して、セッションあたりの説明の平均数を83%削減し、アナリストの作業負荷を顕著に低減した。
• 「既存ユーザーのアカウント追加」タスクでは、CRADLEとPHATTの両方とも平均1.00件の説明しか出力しなかったため、この明確に構造化されたタスクでは高い一貫性と低い曖昧さを示した。
• 「購入」タスクでは、CRADLEが平均8.74件の説明を出力した一方、PHATTは18.32件であったため、関連する計画を保持しつつも、効果的なプリーニングが実現された。
• CRADLEの実行時間はPHATTと同等で、セッションあたり平均0.06秒であり、リアルタイム分析に十分なスケーラビリティを有していた。
• アナリストが関連性があると判断したセッションですら、完全に完了した計画を含む割合はわずかにしかなく、多くのセッションが未完了または中断されたタスクを含んでいることが示された。
• フィルタリング機構は説明の冗長性低減に成功し、CRADLEは「新規ユーザーのアカウント追加」セッションで平均1.33件の説明しか出力しなかったのに対し、PHATTは2.00件であった。