[論文レビュー] Automatic Speech Summarisation: A Scoping Review

Dana Rezazadegan, Shlomo Berkovsky+5 more|arXiv (Cornell University)|Aug 27, 2020

Natural Language Processing Techniques被引用数 9

ひとこと要約

このスコープレビューは、110件の自動音声要約に関する研究を分析し、4つの主要なアーキテクチャを特定した。それは文抽出／圧縮、特徴ベースの分類／ランク付け、文の圧縮、言語モデル化である。教師あり手法は教師なし手法を上回ったが、最近の研究では、手作業によるアノテーションに依存しないようにするため、深層ニューラルネットワークとユニグラムモデルを活用した教師なし手法の向上が注目されている。

ABSTRACT

Speech summarisation techniques take human speech as input and then output an abridged version as text or speech. Speech summarisation has applications in many domains from information technology to health care, for example improving speech archives or reducing clinical documentation burden. This scoping review maps the speech summarisation literature, with no restrictions on time frame, language summarised, research method, or paper type. We reviewed a total of 110 papers out of a set of 153 found through a literature search and extracted speech features used, methods, scope, and training corpora. Most studies employ one of four speech summarisation architectures: (1) Sentence extraction and compaction; (2) Feature extraction and classification or rank-based sentence selection; (3) Sentence compression and compression summarisation; and (4) Language modelling. We also discuss the strengths and weaknesses of these different methods and speech features. Overall, supervised methods (e.g. Hidden Markov support vector machines, Ranking support vector machines, Conditional random fields) performed better than unsupervised methods. As supervised methods require manually annotated training data which can be costly, there was more interest in unsupervised methods. Recent research into unsupervised methods focusses on extending language modelling, for example by combining Uni-gram modelling with deep neural networks. Protocol registration: The protocol for this scoping review is registered at https://osf.io.

研究の動機と目的

• 多様な分野と手法をカバーする自動音声要約研究の現状をマップすること。
• 音声要約システムで用いられる主なアーキテクチャと技術を特定・分類すること。
• 音声要約における教師あり手法と教師なし手法のパフォーマンスと制限要因を評価すること。
• 文献全体を通じて用いられている音声特徴、学習コーパス、研究手法を調査すること。
• とくに高価な手作業によるアノテーションに依存しないようにするための教師なし学習アプローチの動向を特定すること。

提案手法

• 関連性と品質のスクリーニングを経て、153件の論文を特定し、そのうち110件をレビュー対象とした体系的文献調査を実施した。
• キーパラメータとして音声特徴、要約アーキテクチャ、学習コーパス、研究手法を抽出・分類した。
• 研究を4つの主要なアーキテクチャに分類した：(1) 文の抽出および圧縮、(2) 特徴抽出に伴う分類またはランク付け、(3) 文の圧縮および圧縮要約、(4) 言語モデル化。
• 教師あり手法（例：隠れマルコフSVM、ランク付けSVM、CRF）と教師なし手法のパフォーマンスを定性的かつ比較的分析で評価した。
• 最近の教師なし手法の動向を調査し、とくに深層ニューラルネットワークとユニグラム言語モデルの統合が、手作業アノテーションなしでパフォーマンスを向上させるためにどのように活用されているかを検討した。
• 研究の透明性と再現可能性を確保するため、レビューのプロトコルを登録した。

実験結果

リサーチクエスチョン

• RQ1 自動音声要約研究で一般的に使われている主なアーキテクチャは何か？
• RQ2 パフォーマンスとリソース要件の観点から、教師あり手法と教師なし手法はどのように比較できるか？
• RQ3 文献全体で最も一般的に使われている音声特徴と学習コーパスは何か？
• RQ4 特にアノテーションコストの観点から、効果的な音声要約システムの開発における主な課題は何か？
• RQ5 深層学習と言語モデル化の最新の進展は、教師なし音声要約にどのように応用されているか？

主な発見

• 隠れマルコフSVM、ランク付けSVM、条件付きランダムフィールド（CRF）を含む教師あり手法は、要約品質において一貫して教師なし手法を上回った。
• 優れたパフォーマンスを発揮する一方、教師あり手法は手作業によるアノテーションデータの高コストな必要性からスケーラビリティに課題を抱えている。
• 教師なしアプローチへの関心が高まっており、とくにユニグラム言語モデルを深層ニューラルネットワークで拡張することで、アノテーション依存を低減する手法が注目されている。
• 文の抽出／圧縮、特徴ベースの分類／ランク付け、文の圧縮、言語モデル化の4つの主要なアーキテクチャが、現在の文献を支配している。
• 本レビューでは、標準化された評価プロトコルと多様な学習コーパスの欠如が、研究間の比較可能性を制限していると指摘した。
• 本スコープレビューのプロトコルは公開登録されており、研究手法の透明性と再現性が向上している。