[논문 리뷰] Speech Intention Understanding in a Head-final Language: A Disambiguation Utilizing Intonation-dependency

Won Ik Cho, Hyeon Seung Lee외 3명|arXiv (Cornell University)|2018. 11. 10.

Speech and dialogue systems참고 문헌 31인용 수 8

한 줄 요약

이 논문은 한국어와 같은 어순이 끝에 오는 언어에서 말의 의도를 이해하기 위해 두 단계로 구성된 시스템을 제안한다. 이 시스템은 텍스트 기반 필터링을 통해 명확한 발화를 사전에 걸러내고, 모호한 발화에 대해서만 청각 분석을 수행한다. 문장 끝부분의 억양 의존적 특성들을 활용하여, 말의 종류(예: 진술, 의문문, 명령문 등)를 높은 정확도로 분류하며, 청각 계산을 최소화함으로써 종합적인 모델보다 뛰어난 성능을 내며 자원이 제한된 환경에서도 효율적이다.

ABSTRACT

For a large portion of real-life utterances, the intention cannot be solely decided by either their semantic or syntactic characteristics. Although not all the sociolinguistic and pragmatic information can be digitized, at least phonetic features are indispensable in understanding the spoken language. Especially in head-final languages such as Korean, sentence-final prosody has great importance in identifying the speaker's intention. This paper suggests a system which identifies the inherent intention of a spoken utterance given its transcript, in some cases using auxiliary acoustic features. The main point here is a separate distinction for cases where discrimination of intention requires an acoustic cue. Thus, the proposed classification system decides whether the given utterance is a fragment, statement, question, command, or a rhetorical question/command, utilizing the intonation-dependency coming from the head-finality. Based on an intuitive understanding of the Korean language that is engaged in the data annotation, we construct a network which identifies the intention of a speech, and validate its utility with the test sentences. The system, if combined with up-to-date speech recognizers, is expected to be flexibly inserted into various language understanding modules.

연구 동기 및 목표

• 어순이 끝에 오는 언어인 한국어에서 문법적 및 의미적 단서만으로는 부족한 말의 의도를 해소하는 데 도전한다.
• 비용이 많이 드는 청각 처리를 적용하기 전에 텍스트 전용 분석을 통해 명확하지 않은 발화를 걸러내어 계산 부담을 줄인다.
• 청각적 특징을 필요에 따라만 통합하여, 진술, 의문문, 명령문, 비유적 형태 등 말의 종류를 식별할 수 있는 확장 가능한 프레임워크를 개발한다.
• 연구를 지원하기 위해 자유롭게 이용할 수 있는, 억양 정보가 표시된 코퍼스를 구축한다.
• 특히 자유형 인간어를 다루는 스마트 에이전트 등에서 말의 이해 시스템에 더 효율적으로 통합될 수 있도록 한다.

제안 방법

• 이 시스템은 두 단계 아키텍처를 사용한다: 자연어 처리(NLP) 모델을 활용해 명확한 발화(예: 문장 조각, 명확한 진술)를 분류하는 텍스트 기반 체질(스리브)이다.
• 특히 문장 끝 어미가 모호한 경우, 억양 특징(예: 억양의 변화 양상)을 사용하는 오디오 보조 분석기로 전환한다.
• 청각 모델은 7,000개의 음성-스크립트 쌍으로 훈련되었으며, 양방향 LSTM과 어텐션(BiLSTM-Att)을 사용해 억양 패tern에 기반해 말의 종류를 분류한다.
• 이 방법은 고상승, 하강, 하강-상승, 저상승 억양을 구분하며, 각각 다른 말의 종류(예: 의문문, 진술문, 명령문)에 대응한다.
• 모듈러 구조로 설계되어 추가적인 텍스트 또는 음성 데이터로 점진적으로 향상시킬 수 있으며, 명확한 입력에 대해서는 중복된 청각 처리를 피한다.
• 반자동 데이터 수집 파이프라인을 통해 61,225개의 텍스트 발화를 생성하였으며, 정확도 검증을 위해 2,000개는 수동으로 태깅하였다.

실험 결과

연구 질문

• RQ1 텍스트 기반 체질이 명확하지 않은 말의 종류를 효과적으로 걸러내어 고비용의 청각 분석이 필요 없도록 할 수 있는가?
• RQ2 한국어와 같은 어순이 끝에 오는 언어에서 억양 패턴이 진술, 의문문, 명령문 등 말의 종류 간의 모호성을 어느 정도 해소할 수 있는가?
• RQ3 텍스트와 선택적 청각 분석을 조합한 두 단계 시스템이 종합적인 다중모달 모델에 비해 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ4 한국어를 위한 억양 태깅이 된 코퍼스가 자원이 제한된 말의 의도 인식 시스템 개발에 기여할 수 있는가?
• RQ5 제안된 방법은 억양에 의해 모호한 발화가 존재하는 다른 어순이 끝에 오는 언어뿐 아니라, 비-어순이 끝에 오는 언어(예: 영어의 진술형 의문문)에도 일반화 가능한가?

주요 결과

• 제안된 두 단계 시스템은 종합적인 모델과 유사하거나 더 뛰어난 성능을 보였으며, BiLSTM-Att 아키텍처를 사용한 7,000개 테스트 세트에서 75.55%의 정확도를 달성했다.
• 명확한 말의 종류를 사전에 식별함으로써 청각 분석을 모호한 발화에 한정함으로써 계산 부담을 크게 줄였다.
• 특히 고상승, 하강, 저상승 억양의 변화 양상이 말의 종류를 매우 정확하게 예측했으며, 의문문, 진술문, 명령문을 효과적으로 구분했다.
• 문장 끝 어미가 모호한 경우, 억양 정보를 통합함으로써 분류 성능이 향상되었으며, 이는 한국어에서 흔한 현상이다.
• 수동 태깅된 부분집합에서 높은 평가자 간 일致도를 보였으며, 제안된 태깅 체계의 신뢰성을 입증했다.
• 이 방법은 다른 언어, 특히 억양에 의해 모호한 발화가 존재하는 비-어순이 끝에 오는 언어(예: 영어의 진술형 의문문)에도 확장 가능하고 적응 가능하다.