[논문 리뷰] Hierarchical Semi-Markov Conditional Random Fields for Recursive Sequential Data

Tran The Truyen, Dinh Phung외 2명|arXiv (Cornell University)|2010. 09. 10.

Anomaly Detection Techniques and Applications참고 문헌 31인용 수 23

한 줄 요약

이 논문은 계층적 순차 데이터를 위한 분류적이고 다항식 시간 복잡도를 가지는 Hierarchical Semi-Markov Conditional Random Fields (HSCRFs)를 제안한다. 이 모델은 명사구와 품사 태그와 같은 여러 계층적 수준을 동시에 모델링할 수 있으며, 부분적으로 관측된 레이블을 활용한 효율적인 학습과 추론을 가능하게 하여 활동 인식 및 명사구 추출 작업에서 기준 모델들을 능가한다. 이는 계층적 구조와 제약 조건이 있는 추론을 통해 달성된다.

ABSTRACT

Inspired by the hierarchical hidden Markov models (HHMM), we present the hierarchical semi-Markov conditional random field (HSCRF), a generalisation of embedded undirectedMarkov chains tomodel complex hierarchical, nestedMarkov processes. It is parameterised in a discriminative framework and has polynomial time algorithms for learning and inference. Importantly, we consider partiallysupervised learning and propose algorithms for generalised partially-supervised learning and constrained inference. We demonstrate the HSCRF in two applications: (i) recognising human activities of daily living (ADLs) from indoor surveillance cameras, and (ii) noun-phrase chunking. We show that the HSCRF is capable of learning rich hierarchical models with reasonable accuracy in both fully and partially observed data cases.

연구 동기 및 목표

• 계층적 순차 데이터에서 계층적 모델의 단점을 해결하기 위해 여러 의미 수준을 동시에 모델링할 수 있도록 하는 것.
• 재귀적이고 중첩된 마르코프 과정에 대해 효율적인 학습과 추론을 지원하는 분류적 모델을 개발하는 것.
• 조건부 확률 장치를 계층적이고 반-마르코프적 구조를 처리할 수 있도록 확장하고 다항식 시간 알고리즘을 적용하는 것.
• 부분적으로 지도된 학습과 제약 조건이 있는 추론을 통해 완전하지 않은 레이블이 있는 경우에도 정확도를 향상시킬 수 있도록 하는 것.
• 실세계 응용 분야인 인간 활동 인식 및 명사구 추출 작업에서 모델의 효과성을 입증하는 것.

제안 방법

• HSCRF를 반-마르코프 CRFs의 계층적 확장으로 제안하여, 여러 의미 수준에서 재귀적 시퀀스를 모델링하는 것.
• 계층적 구조에서 내부 및 외부 질량을 효율적으로 계산하기 위해 비대칭 내외 알고리즘(AIO)을 도입하는 것.
• 계층적 제약 조건 하에 최대 사후확률(MAP) 디코딩을 수행하기 위해 일반화된 비터비 알고리즘을 사용하는 것.
• 상태 유지, 전이, 초기화 및 종료에 대해 별도의 특징을 사용하는 로그선형 파rameterization을 적용하는 것.
• 제약 조건이 있는 추론과 부분적 지도 학습을 Constrained AIO 및 Constrained Viterbi 알고리즘을 통해 구현하는 것.
• 추론 및 학습 과정에서 확률 계산의 underflow를 방지하기 위해 수치적 스케일링을 구현하는 것.

실험 결과

연구 질문

• RQ1 분류적 모델이 복잡한 데이터의 계층적이고 재귀적인 순차적 구조를 효과적으로 포착할 수 있는가?
• RQ2 부분적으로 관측된 레이블이 있는 계층적 모델에서 효율적인 학습과 추론을 어떻게 달성할 수 있는가?
• RQ3 다양한 의미 수준을 동시에 모델링하는 것이 계층적 또는 평탄한 모델보다 성능을 향상시키는가?
• RQ4 제약 조건이 있는 추론과 부분적 지도 학습이 실세계 환경에서 정확도 향상에 얼마나 기여하는가?
• RQ5 HSCRFs가 더 복잡한 비재귀적 다중 수준 과정에 대한 실용적인 근사치로 기능할 수 있는가?

주요 결과

• 테스트 시점에 품사 태그가 제공될 경우, HSCRF는 표준 CRF와 반-마르코프 CRF보다 명사구 추출 작업에서 뛰어난 성능을 보이며, 동시 모델링의 이점을 입증한다.
• 추론 과정에서 품사 태그가 제공된 경우, HSCRF는 더 넓은 맥락을 활용할 수 있는 SCRF보다도 높은 정확도를 달성한다.
• POS 태그가 제공된 상태에서 DCRF는 SCRF보다도 성능이 열 劣하므로, 동일한 특징 공간 내에서 모델링 능력에 한계가 있음을 시사한다.
• 명사구 추출 작업에서 HSCRF는 POS 태그를 입력으로 사용할 경우 DCRF와 SCRF를 항상 능가하며, 계층적 구조의 가치를 입증한다.
• 부분적 지도 학습과 제약 조건이 있는 추론은 완전하지 않은 레이블이 있는 실세계 데이터에서 성능 향상에 크게 기여한다.
• HSCRF는 완전 관측 및 부분 관측 데이터 설정 모두에서 합리적인 정확도로 풍부한 계층적 모델을 학습할 수 있다.