[논문 리뷰] Graph-Based Semi-Supervised Conditional Random Fields For Spoken Language Understanding Using Unaligned Data

Mohammad Aliannejadi, Masoud Kiaeeha외 2명|arXiv (Cornell University)|2017. 01. 30.

Natural Language Processing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 음성 언어 이해(SLU)를 위한 그래프 기반의 준지도 학습 조건부 랜덤 필드(CRF) 프레임워크를 제안한다. 이 방법은 먼저 IBM Model 5를 사용해 발화를 의미적 트리에 대응시켜 일치시키고, 그 다음으로 k-NN 유사도 그래프를 구성하여 소량의 레이블된 예제에서 레이블을 전파한다. 레이블된 데이터가 10%일 때, 이 방법은 지도 학습 기반 CRF보다 F-score를 1.64% 향상시키고, 자기학습 기반 CRF보다 1.38% 향상시키며, 자원이 제한된 SLU 환경에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

We experiment graph-based Semi-Supervised Learning (SSL) of Conditional Random Fields (CRF) for the application of Spoken Language Understanding (SLU) on unaligned data. The aligned labels for examples are obtained using IBM Model. We adapt a baseline semi-supervised CRF by defining new feature set and altering the label propagation algorithm. Our results demonstrate that our proposed approach significantly improves the performance of the supervised model by utilizing the knowledge gained from the graph.

연구 동기 및 목표

• 음성 언어 이해(SLU)에서 수동 주석 처리의 높은 비용 문제를 해결하기 위해 비일치된 학습 데이터를 활용하고자 한다.
• 레이블이 일부만 존재하는 저자원 환경에서 CRF 성능을 향상시키고자 한다.
• 비라벨 데이터로부터 지식을 효과적으로 전달하는 그래프 기반 레이블 전파를 활용한 준지도 학습 프레임워크를 개발하고자 한다.
• 완전히 일치된 학습 데이터에 대한 의존도를 줄이기 위해 IBM Model 5를 통해 정렬을 수행하여 그래프 구축을 위한 가짜 레이블을 생성하고자 한다.

제안 방법

• 비일치된 발화를 의미적 트리에 대응시키기 위해 IBM Model 5를 사용하여 가짜 레이블이 부여된 학습 인스턴스를 생성한다.
• 문장 임베딩과 단어 수준의 특징을 사용하여 레이블이 있는 데이터와 없는 데이터를 모두 포함한 k-NN 유사도 그래프를 구축한다.
• 실제 레이블 분포, 그래프의 스무쓰함, 그리고 사전 레이블 신뢰도를 통합한 수정된 알고리즘을 통해 레이블 전파를 적응시킨다.
• 예측된 마진 확률 기반으로 비라벨 데이터에 대한 가짜 레이블을 생성하기 위해 비터비 디코딩을 사용한다.
• 기존의 레이블된 데이터와 새로 예측된 가짜 레이블된 데이터를 함께 사용하여 CRF 모델을 반복적으로 재학습시킨다.
• L2 정규화를 적용한 CRF 목적 함수를 최적화하고, 레이블 일관성, 그래프 스무쓰함, 사전 정렬 충실도를 가중치를 부여한 최적화 함수를 통해 동시에 최소화한다.

실험 결과

연구 질문

• RQ1 레이블이 일부만 존재하는 상황에서 그래프 기반 준지도 학습 학습이 CRF 성능을 향상시킬 수 있는가?
• RQ2 비일치된 발화와 의미적 트리에서 생성된 k-NN 그래프에서의 레이블 전파가 얼마나 효과적인가?
• RQ3 그래프 구조와 레이블 일관성을 통합하면, 저자원 SLU 환경에서 지도 학습 및 자기학습 기반 베이스라인 대비 F-score를 향상시킬 수 있는가?
• RQ4 IBM Model 5를 통한 정렬이 비일치된 데이터에서 효과적인 준지도 학습 CRF 학습을 가능하게 할 정도로 충분한 가짜 레이블을 제공할 수 있는가?
• RQ5 레이블 전파 및 CRF 재학습 단계에서의 다양한 하이퍼파라미터 설정이 최종 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 준지도 학습 CRF는 레이블된 데이터가 10%일 때 F-score 87.72%를 기록하여 지도 학습 기반 CRF(86.07%)보다 1.65% 향상되었다.
• 레이블된 데이터가 10%일 때, 자기학습 기반 CRF(86.34%)보다 F-score 1.38% 높은 87.72%를 기록하여 성능이 뛰어났다.
• 레이블된 데이터가 30%일 때, 준지도 학습 CRF는 F-score 89.12%를 달성하여 지도 학습 기반 CRF(88.64%)와 자기학습 기반 CRF(88.64%)를 모두 초월했다.
• 성능 향상은 자원이 극히 제한된 상황에서 가장 두드러졌으며, 저자원 SLU 환경에서 뛰어난 샘플 효율성을 보였다.
• 기존 방법이 오류를 전파하는 데 반해, 이 방법은 그래프 기반 레이블 전파를 통해 정렬 오류를 효과적으로 수정하였다.