[논문 리뷰] Factored Latent-Dynamic Conditional Random Fields for Single and Multi-label Sequence Modeling

Satyajit Neogi, Justin Dauwels|arXiv (Cornell University)|2019. 11. 09.

Music and Audio Processing인용 수 16

한 줄 요약

이 논문은 클래스 레이블당 상호작용하는 다중 잠재 동역학을 인코딩하는 인자화된 은닉 상태 계층을 통해 시퀀스 태깅 성능을 햖थ한 구조적 확률 모델인 Factored Latent-Dynamic Conditional Random Fields (FLDCRF)를 제안한다. FLDCRF는 CRF, LDCRF, LSTM 및 LSTM-CRF 모델보다 단일 및 다중 레이블 시퀀스 작업에서 성능을 향상시키며, 손동작 인식에서 최고의 LSTM 모델 대비 최대 4% 높은 정확도를 기록하고, 다중 레이블 활동 태깅에서 평균 2% 향상을 이룬다. 또한 학습 속도가 빠르고 검증-테스트 성능이 일관되다.

ABSTRACT

Conditional Random Fields (CRF) are frequently applied for labeling and segmenting sequence data. Morency et al. (2007) introduced hidden state variables in a labeled CRF structure in order to model the latent dynamics within class labels, thus improving the labeling performance. Such a model is known as Latent-Dynamic CRF (LDCRF). We present Factored LDCRF (FLDCRF), a structure that allows multiple latent dynamics of the class labels to interact with each other. Including such latent-dynamic interactions leads to improved labeling performance on single-label and multi-label sequence modeling tasks. We apply our FLDCRF models on two single-label (one nested cross-validation) and one multi-label sequence tagging (nested cross-validation) experiments across two different datasets - UCI gesture phase data and UCI opportunity data. FLDCRF outperforms all state-of-the-art sequence models, i.e., CRF, LDCRF, LSTM, LSTM-CRF, Factorial CRF, Coupled CRF and a multi-label LSTM model in all our experiments. In addition, LSTM based models display inconsistent performance across validation and test data, and pose diffculty to select models on validation data during our experiments. FLDCRF offers easier model selection, consistency across validation and test performance and lucid model intuition. FLDCRF is also much faster to train compared to LSTM, even without a GPU. FLDCRF outshines the best LSTM model by ~4% on a single-label task on UCI gesture phase data and outperforms LSTM performance by ~2% on average across nested cross-validation test sets on the multi-label sequence tagging experiment on UCI opportunity data. The idea of FLDCRF can be extended to joint (multi-agent interactions) and heterogeneous (discrete and continuous) state space models.

연구 동기 및 목표

• 클래스 레이블당 단 하나의 상호작용하지 않는 잠재 동역학만 모델링할 수 있는 Latent-Dynamic CRF (LDCRF)의 한계를 해결하기 위해.
• 다중 잠재 동역학 간의 상호작용을 허용함으로써 단일 및 다중 레이블 설정 모두에서 시퀀스 태깅 성능을 향상시키기 위해.
• Factorial HMMs에서 영감을 받은 인자화된 은닉 상태 구조를 통해 모델 복잡도와 파라미터 수를 감소시키기 위해.
• LSTM과 같은 딥러닝 기반 모델보다 더 명확한 해석 가능성, 더 쉬운 하이퍼파ram터 선택, 더 빠른 학습을 갖춘 모델을 개발하기 위해.
• 더 넓은 적용 가능성을 위해 통합적이고 이질적인 상태공간 모델링으로의 프레임워크 확장 가능성을 확보하기 위해.

제안 방법

• 모델은 각 시간 단계에서 서로 독립적인 은닉 상태 변수(예: $h_{1,t}, h_{2,t}$)를 다수 도입하여, 클래스 레이블 내에서 별개의 잠재 동역학을 캡처한다.
• 각 클래스 레이블 $y_t$ 는 분리된 은닉 상태 집합 $\mathcal{H}_\ell$ 와 연결되며, $h_t \in \mathcal{H}_{y_t}$ 를 강제함으로써 레이블 일관성을 확보한다.
• 관측값 $\mathbf{x}$ 와 은닉 상태 $\mathbf{h}$ 를 모두 고려하는 특징 함수 $F_k$ 를 사용한 조건부 랜덤 필드 설정을 통해 관측값과 전이 특징을 함께 모델링한다.
• 조건부 확률 $P(\mathbf{y}|\mathbf{x}, \theta)$ 는 레이블 제약 조건을 만족하는 모든 유효한 은닉 상태 시퀀스 $\mathbf{h}$ 에 대해 합산되며, 분할 함수 $Z(\mathbf{x}, \theta)$ 를 사용한다.
• 온라인 예측을 위해 전진-역행 알고리즘 또는 비터비 알고리즘을 사용해 경계 확률 $P(y_t | \mathbf{x}_{1:t}, \theta)$ 를 계산한다.
• 과적합을 방지하기 위해 L2 정규화를 적용한 조건부 로그우도를 최대화하는 방식으로 모델 파라미터를 학습한다.

실험 결과

연구 질문

• RQ1 클래스 레이블당 다수의 상호작용하는 잠재 동역학을 모델링하면 단일 및 다중 레이블 작업 모두에서 시퀀스 태깅 정확도가 향상되는가?
• RQ2 인자화된 은닉 상태 구조는 LDCRF 대비 모델 복잡도와 파라미터 수를 줄이면서도 성능을 유지하거나 향상시키는가?
• RQ3 실세계 시퀀스 데이터에서 LSTM 및 LSTM-CRF와 같은 딥러닝 모델 대비 FLDCRF의 성능 및 학습 효율성은 어떠한가?
• RQ4 LSTM 기반 모델이 종종 성능 격차를 보이기 때문에, FLDCRF는 검증 및 테스트 성능 간 일관성이 더 높은가?
• RQ5 FLDCRF 프레임워크는 이질적 또는 통합 상태공간 모델링으로 얼마나 넓게 확장될 수 있는가?

주요 결과

• FLDCRF는 CRF, LDCRF, LSTM, LSTM-CRF, Factorial CRF, Coupled CRF, 다중 레이블 LSTM 등 모든 최신 모델을 실험 전반에서 능가한다.
• UCI 손동작 단계 데이터셋에서, FLDCRF는 단일 레이블 시퀀스 태깅 작업에서 최고의 LSTM 모델 대비 약 4% 향상된 성능을 기록한다.
• 다중 레이블 UCI 옵포튜니티 데이터셋에서, FLDCRF는 내부 교차검증 테스트 세트 전반에서 최고의 LSTM 모델 대비 평균 2% 높은 성능을 달성한다.
• LSTM 모델이 성능 격차를 보이며 모델 선택을 어렵게 하는 것과는 달리, FLDCRF는 검증 및 테스트 세트 간 일관된 성능을 보인다.
• 구조적이고 미분 가능하며 파라미터 효율적인 설계 덕분에, GPU 가 없더라도 LSTM보다 훨씬 더 빠른 학습 속도를 기록한다.
• 블랙박스 딥러닝 모델과는 달리 명확한 해석 가능성과 직관적인 구조를 제공하며, 은닉 상태를 통해 내재적 및 외재적 동역학을 명시적으로 모델링한다.