[논문 리뷰] Reading Between the Waves: Robust Topic Segmentation Using Inter-Sentence Audio Features

Steffen Freisinger, Philipp Seeberger외 2명|arXiv (Cornell University)|2026. 02. 06.

Speech Recognition and Synthesis인용 수 0

한 줄 요약

본 논문은 텍스트와 문장 간 경계 음성 인코더를 함께 미세조정하여 경계 탐지 성능을 높이는 다중모달 토픽 세그먼테이션 모델 MultiSeg를 제시하며, 텍스트 전용 및 기존 다중모달 baselines 대비 향상과 ASR 잡음 및 다중언어 데이터에 대한 강건성을 보인다.

ABSTRACT

Spoken content, such as online videos and podcasts, often spans multiple topics, which makes automatic topic segmentation essential for user navigation and downstream applications. However, current methods do not fully leverage acoustic features, leaving room for improvement. We propose a multi-modal approach that fine-tunes both a text encoder and a Siamese audio encoder, capturing acoustic cues around sentence boundaries. Experiments on a large-scale dataset of YouTube videos show substantial gains over text-only and multi-modal baselines. Our model also proves more resilient to ASR noise and outperforms a larger text-only baseline on three additional datasets in Portuguese, German, and English, underscoring the value of learned acoustic features for robust topic segmentation.

연구 동기 및 목표

• 문장 간 음향 단서를 활용해 텍스트 전용 토픽 세그먼테이션의 한계를 동기화하고 이를 해결한다.
• 세그먼션을 위해 텍스트 및 경계 중심 오디오 인코더를 공동으로 미세조정하는 다중모달 프레임워크를 제안한다.
• 대규모 YouTube 기반 데이터셋에서 텍스트 전용 베이스라인 및 기존 다중모달 방법들보다 향상된 성능을 시연한다.
• ASR 오류에 대한 강건성과 포르투갈어 및 독일어 데이터셋으로의 교차 언어 전이 성능을 평가한다.

제안 방법

• 각 문장 간 경계 주변의 두 개의 짧은 오디오 창을 추출한다(문장 n-1의 왼쪽 끝과 문장 n의 오른쪽 시작) 경계 신호를 포착하기 위하여.
• 경계 오디오를 시암쌘 오디오 인코더(공유 가중치)로 인코딩하고 각 창을 고정 차원으로 투영한 뒤, 좌측/우측 경계 표현을 결합하여 음향 경계 특징 z_n으로 만든다.
• 각 문장을 MiniLM으로 인코딩하여 s_n을 얻고, 이를 z_n과 연결(concatenate)하여 다중모달 입력 x_n을 형성한다.
• 시퀀스 (x_1,...,x_N)를 RoFormer 인코더로 처리하고 분류 헤드를 통해 경계 확률을 예측한다.
• 오디오 인코더(wav2vec 2.0, HuBERT, 또는 UniSpeech-SAT)와 텍스트 인코더를 함께 미세조정하는 엔드투엔드 학습; 선택적 어블레이션에서 오디오 인코더를 고정하는 방법도 포함된다.
• 학습은 클래스 가중치를 부여한 BCE 손실을 사용하고, 경계 중심의 맥락을 강조하여 음향 특징이 세그먼테이션 결정과 일치하도록 한다.

실험 결과

연구 질문

• RQ1 문장 간 경계 음향 신호가 텍스트 전용 모델을 넘어서 토픽 세그먼테이션을 개선할 수 있는가?
• RQ2 경계 중심 오디오 인코더의 엔드투엔드 미세조정이 고정되거나 비-미세조정 베이스라인에 비해 측정 가능한 이득을 제공하는가?
• RQ3 ASR 잡음 하에서 및 다국어 간(교차 언어 전이)에서 다중모달 접근법의 성능은 어떤가?

주요 결과

Method	Features	F1↑	Prec↑	Rec↑	Pk↓	B↑
ChatGPT [10]	-	39.16 ± 1.03	44.15 ± 1.53	35.20 ± 0.98	29.54 ± 0.46	33.79 ± 0.92
Cross-segment BERT [21]	-	48.41 ± 0.94	46.91 ± 1.13	50.02 ± 1.10	26.47 ± 0.48	40.72 ± 0.94
MiniSeg [29] *	-	43.37 ± 0.60	45.44 ± 0.83	41.48 ± 0.85	28.73 ± 0.39	35.74 ± 0.68
MiniSeg + cf. [29]	-	48.83 ± 0.96	51.87 ± 1.13	46.13 ± 1.09	25.91 ± 0.46	41.17 ± 0.99
MiniSeg +L 3 -Net cf. [14]	-	47.61 ± 0.89	47.58 ± 0.84	47.65 ± 1.18	27.17 ± 0.48	37.75 ± 0.99
MultiSeg (ours)	Audio + Text	52.98 ± 0.93	52.77 ± 0.89	53.19 ± 1.18	23.93 ± 0.50	45.09 ± 1.02

• MultiSeg는 YTSeg 테스트 세트에서 모든 텍스트 전용 베이스라인을 능가하고, 가장 강력한 텍스트 전용 베이스라인보다 훨씬 적은 파라미터로 더 높은 F1 및 경계 점수를 달성한다.
• 오디오 인코더의 엔드투엔드 미세조정과 문장 간 경계 맥락의 결합은 경계 비의식적 오디오 통합 베이스라인에 비해 현저한 개선(5.37 F1 포인트)을 보인다.
• 오디오 모달리티는 ASR 오류에 대한 강건성을 향상시킨다; 높은 WER에서 다중모달 모델은 텍스트 전용 모델보다 성능 저하가 작다(예: 38% WER에서 F1/B 감소 폭이 작다).
• 데이터셋 간 및 다언어 간 평가에서 다중모달 모델은 더 큰 텍스트 전용 상대 모델을 일관되게 능가하며, 특히 포르투갈어 및 독일어 데이터셋에서 두드러진 성능을 보여 언어에 독립적인 음향 신호가 경계 탐지에 도움이 됨을 시사한다.