[논문 리뷰] Generalized Earley Parser: Bridging Symbolic Grammars and Sequence Data for Future Prediction

Siyuan Qi, Baoxiong Jia외 1명|arXiv (Cornell University)|2018. 06. 09.

Human Pose and Action Recognition인용 수 18

한 줄 요약

이 논문은 원시적이고 분할되지 않은 시퀀스 데이터에서 시퀀스 분할, 레이블링, 문법 기반 미래 예측을 동시에 최적화하는 일반화된 어일리 파서를 소개한다. 이는 기호적 문맥 자유 문법과 분류기의 출력 확률을 통합함으로써 달성된다. 비모터적이고 구성적인 구조를 히우리스틱 탐색을 통해 문법 확장된 접두사 트리에서 활용함으로써 인간 활동 예측 작업에서 최신 기술(SOTA)을 능가한다. 테스트 케이스에서 최적의 파싱에 대해 43%의 확률을 기록했으며, CAD-120 및 Watch-n-Patch 데이터셋에서 뛰어난 정확도를 달성하였다.

ABSTRACT

Future predictions on sequence data (e.g., videos or audios) require the algorithms to capture non-Markovian and compositional properties of high-level semantics. Context-free grammars are natural choices to capture such properties, but traditional grammar parsers (e.g., Earley parser) only take symbolic sentences as inputs. In this paper, we generalize the Earley parser to parse sequence data which is neither segmented nor labeled. This generalized Earley parser integrates a grammar parser with a classifier to find the optimal segmentation and labels, and makes top-down future predictions. Experiments show that our method significantly outperforms other approaches for future human activity prediction.

연구 동기 및 목표

• 비디오나 오디오와 같은 원시적이고 분할되지 않은 시퀀스 데이터에서 미래 레이블을 예측하는 문제를 다루며, 기존의 기호적 파서가 직접 적용될 수 없는 상황을 해결한다.
• 분할, 레이블링, 문법 준수를 동시에 최적화함으로써 기호적 문맥 자유 문법과 연결주의 분류기를 융합한다.
• 저수준의 분류기 출력과 고수준의 문법적 구조를 통합함으로써 상향식으로 비마르코프적 미래 예측을 가능하게 한다.
• 다양한 시퀀스 데이터 분석 및 예측 작업에 적용 가능한 원칙적인 일반화된 파싱 프레임워크를 개발한다.

제안 방법

• 프레임 단위의 레이블 신뢰도를 입력 매트릭스로 간주하여, 기존 어일리 파서를 프레임에 대한 확률적 분류기 출력에 직접 적용하도록 확장한다.
• 문법 규칙에 따라 확장된 접두사 트리에서 히우리스틱 탐색을 수행하며, 루트에서 노드까지의 각 경로는 부분적인 레이블 문장으로 표현된다.
• 분류기 출력을 사용하여 접두사 확률을 계산하고, 가장 가능성 높은 문법적으로 타당한 문장을 향해 탐색을 이끌어낸다.
• 스캐닝, 예측, 완료의 세 가지 핵심 연산을 확률적 입력에 맞게 수정하여 문법 일관성과 가능성 최적화를 유지한다.
• 동적 프로그래밍 기법을 사용하여 부분 파싱의 확률을 캐시하고 전파함으로써 탐색 공간의 효율적 탐색을 보장한다.
• 문법 제약 조건을 탐색 과정에 직접 통합하여, 문법적으로 잘못된 문장은 고려하지 않도록 하여 局부 최소값을 피한다.

실험 결과

연구 질문

• RQ1 사전 분할이나 사전 레이블링 없이도 분할되지 않은 원시적 시퀀스 데이터에서 직접 작동할 수 있도록 기능 기반 파서를 일반화할 수 있는가?
• RQ2 기호적 문맥 자유 문법을 어떻게 효과적으로 확률적 분류기 출력과 융합하여 분할, 레이블링, 미래 예측을 동시에 최적화할 수 있는가?
• RQ3 문법을 통한 비마르코프적이고 구성적인 구조 통합이 마르코프 모델에 비해 미래 예측 성능을 향상시키는가?
• RQ4 기록되지 않은 동작이 포함된 시퀀스와 같은 노이즈가 많거나 불완전한 데이터를 파서가 견고하게 처리할 수 있는가?

주요 결과

• 일반화된 어일리 파서는 예시에서 최적의 레이블 문장 '0 + 1'에 대해 최종 파싱 확률 0.43을 기록하여, 문법과 가능성의 효과적인 통합 최적화를 입증하였다.
• CAD-120 데이터셋에서 이 방법은 미래 인간 활동 예측 분야에서 최신 기술(SOTA)을 뛰어넘는 성능을 보였으며, 구성적이고 비마르코프적 동역학을 잘 포착함을 입증하였다.
• Watch-n-Patch 데이터셋에서는 노이즈가 많거나 불완전한 시퀀스에 대해 뛰어난 견고성을 보였으며, 특히 기록되지 않은 동작이 포함된 '액션 패치' 시나리오에서 뛰어난 성능을 발휘하였다.
• 파서는 문법 파싱 트리를 통해 높은 설명 가능성(해석 가능성)을 제공하여 예측의 해석 가능한 추론 경로를 제공하였다.
• 이 방법은 다양한 시퀀스 데이터 유형에서 뛰어난 성능을 기록하여, 특정 도메인을 초월한 일반 적용 가능성의 가능성을 확인하였다.
• 기호적 추론과 신경망 기반 분류기 출력의 융합은 예측 정확도 향상에 기여하였으며, 하이브리드 기호-연결주의 아키텍처의 가치를 입증하였다.