[논문 리뷰] Incorporating Domain Knowledge To Improve Topic Segmentation Of Long MOOC Lecture Videos

Ananda Kumar Das, Partha Pratim Das|arXiv (Cornell University)|2020. 12. 08.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 장시간 MOOC 강의 영상의 토픽 세그멘테이션을 향상시키기 위해 최신 언어 모델(LSTM에 주의 메커니즘 통합)과 도메인 지식 그래프를 융합한 하이브리드 접근법을 제안한다. 특히 15분 이상 지속되는 긴 토픽에 대해 정확도를 높이는데 초점을 맞춘다. 이 방법은 언어 모델이 제공하는 국소적 의미 이해와 지식 그래프가 제공하는 전반적 개념적 관계를 결합하여, 기존 기준 방법보다 높은 정확도를 달성하며, 특히 15분 이상 지속되는 토픽에서 두드러진 성능 향상을 보인다.

ABSTRACT

Topical Segmentation poses a great role in reducing search space of the topics taught in a lecture video specially when the video metadata lacks topic wise segmentation information. This segmentation information eases user efforts of searching, locating and browsing a topic inside a lecture video. In this work we propose an algorithm, that combines state-of-the art language model and domain knowledge graph for automatically detecting different coherent topics present inside a long lecture video. We use the language model on speech-to-text transcription to capture the implicit meaning of the whole video while the knowledge graph provides us the domain specific dependencies between different concepts of that subjects. Also leveraging the domain knowledge we can capture the way instructor binds and connects different concepts while teaching, which helps us in achieving better segmentation accuracy. We tested our approach on NPTEL lecture videos and holistic evaluation shows that it out performs the other methods described in the literature.

연구 동기 및 목표

• 메타데이터에 토픽 경계가 포함되어 있지 않은 장시간 MOOC 강의 영상에서의 토픽 세그멘테이션 문제를 해결하기 위해.
• 기존 국소적 맥락 기반 방법이 포착하지 못하는 장시간 토픽(>15분)의 세그멘테이션 정확도를 향상시키기 위해.
• 강의 원고에 포함된 교육적 개념 간의 관계와 계층적 의존성을 표현하기 위해 도메인 특화 지식 그래프를 구성하여 전반적 의미 관계를 모델링하기 위해.
• 긴 강의 영상 내 특정 토픽을 빠르게 브라우징하고 검색하는 데 사용자의 노력 감소를 위해.
• 국소적 언어적 특징과 전반적 구조적 지식을 융합한 하이브리드 프레임워크를 개발하여 강력한 토픽 경계 탐지 기능을 확보하기 위해.

제안 방법

• 이중 방향 LSTM과 주의 메커니즘을 사용하여 전사된 강의 원고의 국소적 의미 맥락을 모델링한다.
• 언어 모델은 국소적 문법적 및 의미적 패턴을 포착하여 잠재적 토픽 경계를 탐지한다.
• 교육적 개념 간의 관계와 계층적 의존성을 인코딩하기 위해 도메인 특화 지식 그래프를 구축한다.
• 세그멘테이션 과정에서 지식 그래프를 활용하여 전반적 맥락 이해를 강화하고, 특히 장시간 토픽에서의 성능 향상을 도모한다.
• 언어 모델과 지식 그래프의 예측 결과를 융합하여 세그멘테이션 결정을 정교화하며, 주제 지속 시간 기반 임계값을 적용한다.
• 전체 원고의 의미를 포괄적으로 포착하기 위해 BERT를 사용하여 주제 탐지에 유용한 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적 의미 모델링을 통해 강의 원고의 의미를 향상시키기 위해 전반적 도메인 지식을 어떻게 융합할 수 있는가?
• RQ2 토픽 세그멘테이션에서 문장 수준의 분류에 최적의 맥락 크기는 무엇인가?
• RQ3 주제 지속 시간이 구조적(국소 맥락 기반) 방법과 의미적(지식 증강 기반) 방법의 성능에 미치는 영향은 어떠한가?
• RQ4 도메인 지식 그래프를 통합할 경우, 장시간 주제에 대한 세그멘테이션 정확도 향상 정도는 어느 정도인가?
• RQ5 언어 모델과 지식 그래프를 융합한 하이브리드 접근법이 순수 유사도 기반 또는 언어 모델 전용 방법보다 우월한가?

주요 결과

• 제안된 방법은 통합 평가에서 OTR(F1-스코어) 0.83을 달성하여 기존 문헌에 제시된 방법들을 초월하는 성능을 보였다.
• 15분 이상 지속되는 주제에서는 지식 그래프 기반 의미적 세그멘테이션 방법이 일관된 성능을 유지한 반면, 구조적 방법의 정확도는 크게 하락하였다.
• 문장 수준 분류에 최적의 맥락 크기는 OTR 스코어 최대화 기반으로 K=10문장, 문장당 20단어로 결정되었다.
• 소프트웨어 공학 강의에서 추출한 225개 주제 중 164개는 15분 미만, 91개는 15분 이상이었으며, 지식 그래프 기반 방법은 장시간 주제에서 뛰어난 성능을 보였다.
• 모든 지속 시간 범주에서 안정적인 성능을 보였으며, 의미 분석 기반 접근법은 주제 길이에 관계없이 높은 정확도를 유지하였다.
• 도메인 지식의 통합은 대규모 주제에 대한 경계 탐지 성능을 크게 향상시켰으며, 국소 맥락 모델이 전반적 의미를 포착하지 못하는 한계를 보완하였다.