[論文レビュー] Leveraging BERT for Extractive Text Summarization on Lectures

Derek M. Miller|arXiv (Cornell University)|Jun 7, 2019

Topic Modeling参考文献 14被引用数 196

ひとこと要約

論文は、BERT 埋め込みと KMeans クラスタリングを用いて、講義の書き起こしからユーザー指定の要約長に合わせて重要な文を抽出する Lecture Summarization Service を提示する。

ABSTRACT

In the last two decades, automatic extractive text summarization on lectures has demonstrated to be a useful tool for collecting key phrases and sentences that best represent the content. However, many current approaches utilize dated approaches, producing sub-par outputs or requiring several hours of manual tuning to produce meaningful results. Recently, new machine learning architectures have provided mechanisms for extractive summarization through the clustering of output embeddings from deep learning models. This paper reports on the project called Lecture Summarization Service, a python based RESTful service that utilizes the BERT model for text embeddings and KMeans clustering to identify sentences closes to the centroid for summary selection. The purpose of the service was to provide students a utility that could summarize lecture content, based on their desired number of sentences. On top of the summary work, the service also includes lecture and summary management, storing content on the cloud which can be used for collaboration. While the results of utilizing BERT for extractive summarization were promising, there were still areas where the model struggled, providing feature research opportunities for further improvement.

研究の動機と目的

• 講義内容の自動的な抽出型要約を動機づけ、実現する。
• クラスタリングベースの要約のために意味のある文埋め込みを生成するために BERT を活用する。
• 講義の要約とコンテンツ管理のためのスケーラブルでクラウドベースのサービスを提供する。

提案手法

• BERT モデルを用いて文を表すテキスト埋め込みを計算する。
• 文埋め込みに対して KMeans クラスタリングを適用してクラスタを形成する。
• クラスタ中心への最も近い文を選択して要約を形成する。
• ユーザー定義の長さの要約を生成する Python ベースの RESTful サービスを提供する。
• 協働を支援するクラウドストレージを備えた講義および要約管理の機能を含める。

実験結果

リサーチクエスチョン

• RQ1 BERT ベースの文埋め込みは講義の抽出型要約の質を向上させることができるか。
• RQ2 中心点近傍の文を選択するクラスタリングベースの手法は、講義内容の簡潔で代表的な要約を生成するのに有効か。
• RQ3 クラウド対応の RESTful サービスは、ユーザー定義の要約長と協調的な管理を合理的にサポートできるか。

主な発見

• BERT 埋め込みと KMeans クラスタリングは要約の代表的な文を特定できる。
• このサービスは、ユーザー定義の長さで要約を生成する実践的なワークフローを提供する。
• このアプローチは有望な結果を示す一方で、モデルが苦手とする領域や改善の余地を示している。
• システムは協力を支援するためのクラウドストレージを備えた講義と要約管理を含んでいる。