[論文レビュー] Reading Between the Waves: Robust Topic Segmentation Using Inter-Sentence Audio Features

Steffen Freisinger, Philipp Seeberger+2 more|arXiv (Cornell University)|Feb 6, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

この論文は、テキストと文間オーディオ境界の多モーダルな組み合わせを同時微調整することで境界検出を改善する MultiSeg という多モーダルトピックセグメンテーションモデルを提示し、テキストのみや既存の多モーダルベースラインよりも性能を向上させ、ASR ノイズや言語横断データに対して堅牢であることを示しています。

ABSTRACT

Spoken content, such as online videos and podcasts, often spans multiple topics, which makes automatic topic segmentation essential for user navigation and downstream applications. However, current methods do not fully leverage acoustic features, leaving room for improvement. We propose a multi-modal approach that fine-tunes both a text encoder and a Siamese audio encoder, capturing acoustic cues around sentence boundaries. Experiments on a large-scale dataset of YouTube videos show substantial gains over text-only and multi-modal baselines. Our model also proves more resilient to ASR noise and outperforms a larger text-only baseline on three additional datasets in Portuguese, German, and English, underscoring the value of learned acoustic features for robust topic segmentation.

研究の動機と目的

• テキストのみのトピックセグメンテーションの限界を、文間の音響手掛かりを活用して動機づけ・解決する。
• 境界志向のオーディオエンコーダをテキストとともに共同で微調整する多モーダルフレームワークを提案する。
• テキストのみのベースラインおよび従来の多モーダル手法より、YouTubeベースの大規模データセットで改善を示す。
• ASR の誤りと跨言語転移（ポルトガル語・ドイツ語データセット）に対する頑健性を評価する。）

提案手法

• 各文間境界の左端 n-1 の終わりと右端 n の開始の周りに2つの短いオーディオウィンドウを抽出して境界手掛かりを捕捉する。
• 境界オーディオをシアム（共有重み）オーディオエンコーダでエンコードし、各ウィンドウを固定次元に射影する；左・右境界表現を結合して音響境界特徴 z_n を作成する。
• 各文を MiniLM でエンコードして s_n を得，これを z_n と結合して多モーダル入力 x_n を形成する。
• 系列 (x_1,...,x_N) を RoFormer エンコーダで処理し、分類ヘッドで境界確率を予測する。
• 音声エンコーダ（wav2vec 2.0、HuBERT、または UniSpeech-SAT）とテキストエンコーダをエンドツーエンドで微調整する訓練。オプションとしてオーディオエンコーダを凍結するアブレーション。
• 境界志向の文脈を強調して音響特徴とセグメンテーション決定を整合させる BCE 損失を用いた訓練。

実験結果

リサーチクエスチョン

• RQ1 文間境界の音響手掛かりは、テキストのみモデルを超えるトピックセグメンテーションの改善に寄与するか。
• RQ2 境界志向オーディオエンコーダのエンドツーエンド微調整は、凍結または非微調整のベースラインより有意な利益をもたらすか。
• RQ3 多モーダル手法はASRノイズ下および言語を超えた（跨言語）転移でどう機能するか。

主な発見

方法	特徴	F1↑	Prec↑	Rec↑	Pk↓	B↑
ChatGPT [10]	-	39.16 ± 1.03	44.15 ± 1.53	35.20 ± 0.98	29.54 ± 0.46	33.79 ± 0.92
Cross-segment BERT [21]	-	48.41 ± 0.94	46.91 ± 1.13	50.02 ± 1.10	26.47 ± 0.48	40.72 ± 0.94
MiniSeg [29] *	-	43.37 ± 0.60	45.44 ± 0.83	41.48 ± 0.85	28.73 ± 0.39	35.74 ± 0.68
MiniSeg + cf. [29]	-	48.83 ± 0.96	51.87 ± 1.13	46.13 ± 1.09	25.91 ± 0.46	41.17 ± 0.99
MiniSeg +L 3 -Net cf. [14]	-	47.61 ± 0.89	47.58 ± 0.84	47.65 ± 1.18	27.17 ± 0.48	37.75 ± 0.99
MultiSeg (ours)	Audio + Text	52.98 ± 0.93	52.77 ± 0.89	53.19 ± 1.18	23.93 ± 0.50	45.09 ± 1.02

• MultiSeg は YTSeg テストセットで全てのテキストのみベースラインを上回り、 strongest テキストのみベースラインよりはるかに少ないパラメータでより高い F1 および Boundary スコアを達成。
• 境界境界情報を持つオーディオのエンドツーエンド微調整と境界文脈を組み合わせると、境界非意識のオーディオ統合ベースラインより顕著な改善（5.37 F1 ポイント）をもたらす。
• オーディオモダリティは ASR エラーに対する頑健性を向上させる；高い WER では、マルチモーダルモデルはテキストのみモデルより F1/B が小さく崩れにくい（例: 38% の WER 結果で小さい F1/B の低下）。
• クロスデータセット・クロス言語評価では、多モーダルモデルが一貫して大きいテキストのみモデルを上回り、特にポルトガル語・ドイツ語データセットで言語に依存しない音響手掛かりが境界検出を助けることを示唆。