[논문 리뷰] It's not what you said, it's how you said it: discriminative perception of speech as a multichannel communication system

Sarenne Wallbridge, Peter Bell외 1명|arXiv (Cornell University)|2021. 05. 01.

Speech and dialogue systems참고 문헌 39인용 수 4

한 줄 요약

이 연구는 같은 단어를 사용하지만 억양이 다른 발화를 듣는 이들이 어휘적 및 비어휘적 음성 채널을 어떻게 활용하여 구분하는지 조사한다. 새로운 행동적 구분 작업을 통해 비어휘적(억양) 맥락이 어휘적 맥락만 있는 경우보다 청각 정확도를 크게 향상시키며, 말하기 대화 인식에서 억양의 핵심적 역할을 입증한다.

ABSTRACT

People convey information extremely effectively through spoken interaction using multiple channels of information transmission: the lexical channel of what is said, and the non-lexical channel of how it is said. We propose studying human perception of spoken communication as a means to better understand how information is encoded across these channels, focusing on the question 'What characteristics of communicative context affect listener's expectations of speech?'. To investigate this, we present a novel behavioural task testing whether listeners can discriminate between the true utterance in a dialogue and utterances sampled from other contexts with the same lexical content. We characterize how perception - and subsequent discriminative capability - is affected by different degrees of additional contextual information across both the lexical and non-lexical channel of speech. Results demonstrate that people can effectively discriminate between different prosodic realisations, that non-lexical context is informative, and that this channel provides more salient information than the lexical channel, highlighting the importance of the non-lexical channel in spoken interaction.

연구 동기 및 목표

• 어휘적 및 비어휘적 음성 채널을 통해 의사소통 맥락이 말하기 대화에서 청자 기대를 어떻게 형성하는지 조사하기.
• 어휘적으로 동일한 발화이지만 억양이 다른 경우 청자들이 이를 구분할 수 있는지 검토하기.
• 어휘적 맥락과 비어휘적 맥락이 발화의 구분 인식을 뒷받침하는 데 기여하는 비율을 평가하기.
• 다양한 수준의 맥락 정보(텍스트 전용, 음성+텍스트, 향후 맥락)가 청각 성능와 자신감에 미치는 영향을 탐색하기.
• 실시간 대화 인식에서 인간이 사용하는 주목할 만한 신호를 특정함으로써 자동 음성 표현 설계에 기여하기.

제안 방법

• 참가자가 동일한 어휘적 내용을 가진 원본 또는 샘플된 대안 발화 중 어느 것이 맞는지 판단하는 새로운 행동적 구분 작업을 설계하기.
• Switchboard 코퍼스에서 다양한 대화 맥락에서 어휘적으로 동일한 발화를 선별하여 자료를 사용하기.
• 맥락 모odal리티(텍스트 전용, 음성+텍스트, 향후 맥락)와 범위(지역적 vs. 확장된 맥락)가 다른 조건을 제시하기.
• 어휘적 및 비어휘적 신호에 대한 의존도를 평가하기 위해 조건 간 구분 정확도와 참가자 자신감을 측정하기.
• 성능 추세와 자신감 평가를 분석하여 청자들이 음성 채널 간 정보를 어떻게 통합하는지 추론하기.
• 화자 신원과 어휘 빈도를 제어하여 억양 및 맥락 변화의 영향을 분리하기.

실험 결과

연구 질문

• RQ1 비어휘적(억양) 맥락이 추가될 경우, 어휘적으로 동일한 발화를 구분하는 데 청자의 능력은 어떻게 영향을 받는가?
• RQ2 어휘적 맥락만으로도 구분 성능이 향상되는가, 아니면 억양 맥락이 더 정보가 많은가?
• RQ3 예를 들어 이전 대화, 향후 맥락 등 다양한 유형과 지속 시간의 맥락 정보가 청자 기대에 어떻게 영향을 미치는가?
• RQ4 다양한 맥락 조건에서 참가자의 자신감 수준이 실제 성과와 얼마나 일치하는가?
• RQ5 구분 작업을 통해 청자들이 실시간 대화 인식에서 어휘적 및 비어휘적 신호를 어떻게 평가하는지의 차이를 드러낼 수 있는가?

주요 결과

• 비어휘적(억양) 맥락이 제공될 경우 참가자들이 유의미하게 높은 구분 정확도를 달성하여, 억양이 음성 인식에서 주목할 만한 신호임을 시사한다.
• 단지 이전 대화의 전사본만 제공되어도 성능이 높게 유지되어 지역적 억양 신호만으로도 구분이 충분히 가능하다는 것을 보여준다.
• 더 많은 맥락이 추가될수록 참가자의 자신감이 높아졌지만, 이는 항상 높은 정확도와 관련이 있는 것은 아니었으며, 특히 텍스트 전용 향후 맥락 조건에서 그러한 경향이 두드러졌다.
• 텍스트 전용 향후 맥락 조건(3,3)에서 성능가장 낮았으며, 무작위 기준선 수준에 가까웠다. 그러나 자신감은 높아서, 인식된 맥락의 정보성과 실제 정보성 사이에 괴리가 있음을 시사한다.
• 비어휘적 맥락이 어휘적 맥락만 있는 경우보다 더 정보가 많은 신호를 제공함으로써, 억양이 청각적 구분에서 지배적인 역할을 한다는 점을 강조한다.
• 결과적으로 자기지도 학습 기반 음성 표현 학습 방법은 지역적 억양 맥락을 학습 신호로 통합함으로써 유익을 얻을 수 있을 것이다.