[論文レビュー] Incorporating Domain Knowledge To Improve Topic Segmentation Of Long MOOC Lecture Videos

Ananda Kumar Das, Partha Pratim Das|arXiv (Cornell University)|Dec 8, 2020

Video Analysis and Summarization被引用数 4

ひとこと要約

本論文では、長時間のMOOC講義動画におけるトピックセグメンテーションのためのハイブリッド手法を提案する。最先端の言語モデル（LSTMに注目機構を組み合わせたもの）とドメイン固有の知識グラフを組み合わせることで、特に長時間のトピックにおいてセグメンテーションの正確性を向上させる。この手法は、言語モデルによる局所的な意味理解と、知識グラフによる包括的な概念的関係を活用し、特に15分を超えるトピックにおいて、ベースライン手法よりも高い正確性を達成している。

ABSTRACT

Topical Segmentation poses a great role in reducing search space of the topics taught in a lecture video specially when the video metadata lacks topic wise segmentation information. This segmentation information eases user efforts of searching, locating and browsing a topic inside a lecture video. In this work we propose an algorithm, that combines state-of-the art language model and domain knowledge graph for automatically detecting different coherent topics present inside a long lecture video. We use the language model on speech-to-text transcription to capture the implicit meaning of the whole video while the knowledge graph provides us the domain specific dependencies between different concepts of that subjects. Also leveraging the domain knowledge we can capture the way instructor binds and connects different concepts while teaching, which helps us in achieving better segmentation accuracy. We tested our approach on NPTEL lecture videos and holistic evaluation shows that it out performs the other methods described in the literature.

研究の動機と目的

• メタデータにトピック境界が欠落している長時間のMOOC講義動画におけるトピックセグメンテーションの課題に対処すること。
• 従来の局所的文脈手法が捉えきれない、15分を超える長時間のトピックにおけるセグメンテーション正確性の向上。
• 講義トランスクリプト内の概念間の包括的意味的関係をモデル化するため、ドメイン固有の知識グラフからの分野特有の知識を統合すること。
• 長時間の講義動画内での特定トピックのブラウジングや検索にかかるユーザーの作業負荷を低減すること。
• 局所的な言語的特徴とグローバルな構造的知識を統合した、強固なトピック境界検出に適したハイブリッドフレームワークの開発。

提案手法

• 局所的な意味的文脈をトランスクリプトされた講義テキストにモデル化するために、双方向LSTMに注目機構を組み合わせた手法を用いる。
• 言語モデルは、潜在的なトピック境界を検出するために、局所的な文法的および意味的パターンを捉える。
• 教育的概念とその階層的依存関係を符号化するために、ドメイン固有の知識グラフを構築する。
• セグメンテーションの過程で、特に長時間のトピックにおいて、グローバルな文脈理解を強化するために知識グラフを活用する。
• トピックの持続時間に基づいたしきい値を用いて、言語モデルと知識グラフからの予測を統合し、セグメンテーション意思決定を精緻化する。
• トランスクリプト全体の意味を捉えるためにBERTを用い、トピック検出のための表現学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的な意味的モデリングを、包括的なドメイン知識でどのように強化することで、トピック境界検出の正確性を向上させられるか？
• RQ2 トピックセグメンテーションにおける文単位分類の最適な文脈サイズは何か？
• RQ3 トピック持続時間は、構造的（局所的文脈）手法と意味的（知識拡張）手法の性能にどのように影響を与えるか？
• RQ4 ドメイン知識グラフを統合することで、長時間トピックのセグメンテーション正確性はどの程度向上するか？
• RQ5 言語モデルと知識グラフを統合したハイブリッド手法は、純粋に類似度ベースまたは言語モデルのみに依存する手法を上回る性能を示せるか？

主な発見

• 提案手法は、包括的評価においてOTR（F1スコア）0.83を達成し、既存の研究手法を上回った。
• 15分を超えるトピックにおいては、知識グラフを用いた意味的セグメンテーション手法は一貫した性能を維持したが、構造的手法の正確性は著しく低下した。
• 文単位分類の最適な文脈サイズは、OTRスコアの最大化に基づき、K=10文、1文あたり20語と特定された。
• ソフトウェア工学の講義から抽出した225のトピックのうち、164は15分未満、91は15分以上であり、知識グラフに基づく手法は長時間トピックで優れた性能を示した。
• 本手法は、すべての持続時間カテゴリーで安定した性能を示し、意味的分析手法はトピック長に関係なく高い正確性を維持した。
• ドメイン知識の統合により、大規模なトピックにおける境界検出が顕著に向上し、局所的文脈モデルがグローバルな意味を捉えきれないという限界を是正した。