[논문 리뷰] Session Analysis using Plan Recognition

Reuth Mirsky, Kobi Gal외 1명|arXiv (Cornell University)|2017. 06. 20.

Speech and dialogue systems참고 문헌 14인용 수 6

한 줄 요약

이 논문은 탐색적이고 높은 노이즈를 가지는 금융 웹 인터페이스에서 고객 클릭스트림 데이터를 분석하기 위해 계층적 작업망(HTN)을 사용하는 새로운 계획 인식 접근법을 제안한다. 저수준의 UI 동작을 도메인 특화 계획 라이브러리에 직접 통합하고 필터링 히우리스틱을 적용함으로써, 세션 분석 오버헤드를 83% 감소시켜 실시간 사기 탐지, 의도 예측 및 높은 정밀도로 의미 있는 사전 검증이 가능하게 한다. 실제 사례에서 검증된 바이다.

ABSTRACT

This paper presents preliminary results of our work with a major financial company, where we try to use methods of plan recognition in order to investigate the interactions of a costumer with the company's online interface. In this paper, we present the first steps of integrating a plan recognition algorithm in a real-world application for detecting and analyzing the interactions of a costumer. It uses a novel approach for plan recognition from bare-bone UI data, which reasons about the plan library at the lowest recognition level in order to define the relevancy of actions in our domain, and then uses it to perform plan recognition. We present preliminary results of inference on three different use-cases modeled by domain experts from the company, and show that this approach manages to decrease the overload of information required from an analyst to evaluate a costumer's session - whether this is a malicious or benign session, whether the intended tasks were completed, and if not - what actions are expected next.

연구 동기 및 목표

• 금융 애플리케이션에서 흔한 개방형, 탐색적 웹 인터페이스에서 사용자 의도를 추론하는 데 도전하는 데 목적을 두며.
• 원시 클릭스트림 데이터를 구조화되고 해석 가능한 계획 설명으로 변환함으로써 인간 분석가의 인지적 및 분석적 부담을 줄이는 데 목적을 두며.
• 사용자 의도와 기대 행동에서의 이탈을 예측함으로써 실시간 사기 탐지 및 사전 검증을 가능하게 하는 데 목적을 두며.
• 실제 사용자 상호작용에서 흔한 외부 동작, 실수, 작업의 교차 실행을 처리할 수 있는 계획 인식 시스템을 개발하는 데 목적을 두며.
• 과도한 설명을 줄이면서도 의미 있는 의도 추론을 유지하는 데 필터링 메커니즘의 효과를 평가하는 데 목적을 두며.

제안 방법

• 핵심 도메인 모델로 계층적 작업망(HTN) 계획 라이브러리를 사용하며, 작업 분해를 위한 목표, 비단말 기호, 단말 기호, 유도 규칙를 인코딩한다.
• 저수준의 UI 동작(예: 페이지 방문, 클릭)을 별도의 활동 인식 단계 없이 계획 라이브러리의 단말 기호에 직접 매핑한다.
• CRADLE라는 계획 인식 알고리즘이 부분적 동작 시퀀스를 기반으로 증분 추론을 수행하며, 계획 라이브러리를 바탕으로 후보 설명을 생성한다.
• 도메인 독립적 임계치를 적용하여 설명의 과다 생성을 줄이는 필터링 메커니즘이 적용된다: (1) 평균 계획 수 이하, (2) 평균 프론트리어 노드 수 이하, (3) 4개 이하의 서로 다른 계획.
• 외부 동작과 오류는 인식된 계획과 일치하지 않을 경우 설명에서 생략함으로써 처리한다.
• 성능 평가는 세 가지 실제 세션 유형(구매, 기존 사용자 계좌 추가, 신규 사용자 계좌 추가)에서 CRADLE를 기준 알고리즘인 PHATT와 비교하여 수행된다.

실험 결과

연구 질문

• RQ1 기본적인 UI 데이터에서 계획 인식이 탐색적이고 높은 노이즈를 가지는 금융 웹 세션에서 사용자 의도를 효과적으로 추론할 수 있는가?
• RQ2 필터링 메커니즘이 의미 있는 의도 추론을 훼손하지 않으면서도 얼마나 많은 중복된 설명을 줄일 수 있는가?
• RQ3 실제 클릭스트림 데이터에서 제안된 방법이 기존 계획 인식 알고리즘과 비교해 설명 집합 크기와 런타임 측면에서 어떻게 성능을 내는가?
• RQ4 기대되는 계획 궤적에서의 이탈을 식별함으로써, 완료되지 않았거나 악성일 수 있는 세션을 시스템이 탐지할 수 있는가?
• RQ5 가장 낮은 인식 수준에서 도메인 지식(계획 라이브러리)을 통합함으로써 추론 정확도가 향상되고 외부 활동 인식에 대한 의존도가 감소하는가?

주요 결과

• CRADLE 알고리즘은 원시 클릭스트림 데이터 대비 세션당 평균 설명 수를 83% 감소시켜 분석가의 작업 부담을 크게 줄였다.
• 기존 사용자 계좌 추가 작업의 경우, CRADLE와 PHATT 모두 평균 1.00개의 설명을 생성하여 이 작업이 잘 구조화되어 있어 높은 일관성과 낮은 모호성을 보였다.
• CRADLE는 '구매' 작업에 대해 평균 8.74개의 설명을 기록했고, PHATT는 18.32개로, 유의미한 계획을 유지하면서 효과적인 정제를 수행함을 보였다.
• CRADLE의 런타임은 PHATT와 유사했으며, 세션당 평균 0.06초로 실시간 분석에 적합한 확장성을 보였다.
• 심지어 분석가가 관련성이 있다고 판단한 세션들 중에서도 완전히 완료된 계획을 포함한 비율은 매우 작았으며, 많은 세션이 완료되지 않거나 중단된 작업을 포함하고 있음을 시사했다.
• 필터링 메커니즘이 효과적으로 설명 과다 생성을 줄였으며, '신규 사용자 계좌 추가' 세션의 경우 CRADLE는 평균 1.33개의 설명을 출력했고, PHATT는 2.00개였다.