[논문 리뷰] Machine Learning of Generic and User-Focused Summarization

Inderjeet Mani, Eric Bloedorn|ArXiv.org|1998. 11. 02.

Topic Modeling참고 문헌 27인용 수 117

한 줄 요약

이 논문은 문서와 그 摘要(abstract)로 구성된 학습 코퍼스를 사용하여 일반 요약 및 사용자 중심 요약을 위한 사전성 함수를 자동으로 학습하는 기계 학습 접근법을 제시한다. 위치, tf.idf, 키워드 수치 등 특징 벡터에 C4.5 Rules 및 SCDF와 같은 알고리즘을 적용함으로써, 해석 가능하고 높은 성능을 보이는 규칙을 학습할 수 있었으며, 특히 키워드 특징이 성능에 지배적인 사용자 중심 요약에서 기준 방법을 능가하였다.

ABSTRACT

A key problem in text summarization is finding a salience function which determines what information in the source should be included in the summary. This paper describes the use of machine learning on a training corpus of documents and their abstracts to discover salience functions which describe what combination of features is optimal for a given summarization task. The method addresses both "generic" and user-focused summaries.

연구 동기 및 목표

• 수동적 특징 설계 없이 학습 데이터에서 사전성 함수를 학습할 수 있는 훈련 가능한 요약 시스템을 개발하는 것.
• C4.5 Rules, SCDF, AQ와 같은 다수의 기계 학습 알고리즘의 성능을 일반 요약 및 사용자 중심 요약을 위한 규칙 학습에서 비교하는 것.
• 위치, 용어 빈도, 키워드, 공명성 등의 다양한 텍스트 특징이 요약 성능에 미치는 영향을 조사하는 것.
• 다양한 압축률(원본 길이의 5%에서 30%까지)에서 학습된 규칙의 안정성과 일반화 능력을 평가하는 것.
• 학습된 규칙의 해석 가능성과 인간이 규칙을 보완하기 위해 실질적으로 활용 가능한지 평가하는 것.

제안 방법

• 각 요약을 쿼리로 간주하고, 개별 문장의 개요와의 겹침 정도에 따라 관련도 점수를 할당함으로써 원본 문장에 관련도 점수를 매긴다.
• 관련도 점수의 부울 임계값 처리를 통해 문장을 긍정(요약) 또는 부정(비요약)으로 레이블링한다.
• 언어적 및 구조적 특성에서 유도된 특징 벡터를 구성한다: 위치(예: 서두, 결론), tf.idf 점수, 키워드 수, 공명성, 문법적 특징 등.
• 기계 학습 알고리즘(C4.5 Rules, SCDF, AQ)을 사용하여 문장을 요약에 포함시킬지 여부를 예측하는 규칙 기반 분류기 학습.
• F-점수와 예측 정확도를 사용하여 시스템을 평가하며, 다양한 압축률과 요약 유형에서 성능을 측정한다.
• 규칙의 해석 가능성과 인간의 편집 가능성을 고려하여 투명성 있는 모델을 강조함으로써 블랙박스 모델을 피한다.

실험 결과

연구 질문

• RQ1 다양한 기계 학습 알고리즘이 일반 요약 및 사용자 중심 요약을 위한 사전성 함수 학습에서 어떻게 성능을 내는가?
• RQ2 위치, 키워드 수, tf.idf 등에서 어떤 특징가 일반 요약 및 사용자 중심 요약에서 문장의 사전성에 가장 예측력 있는가?
• RQ3 압축률이 다양할 경우(5%에서 30%까지) 학습 성능이 얼마나 안정적인가?
• RQ4 사용자 중심 요약을 위한 규칙과 일반 요약을 위한 규칙 간 특징 사용 방식의 차이가 어느 정도인가?
• RQ5 학습된 규칙는 인간 전문가가 의미 있게 이해하고 개선할 수 있는가?

주요 결과

• 사용자 중심 요약에서 문장 내 키워드 수가 가장 영향력 있는 특징이었으며, 이는 일반 요약에 비해 성능 향상에 기여하였다.
• 사용자 중심 학습에서 C4.5 Rules와 SCDF는 거의 동일한 성능을 보였으며, 양쪽 모두 키워드 특징이 규칙의 주요 구성 요소로 지배적이었다.
• 일반 요약에서는 긍정 클래스가 사용자 중심 학습보다 선형적으로 분리되기 어려웠으며, 이는 특징 간 상호작용의 복잡성이 더 높음을 시사한다.
• 학습 곡선 분석 결과, 사용자 중심 학습은 압축률 5%에서 F-점수 약 0.89에 도달해 조기에 포화 상태에 이르렀고, 일반 요약 학습은 20% 압축률까지 점진적인 향상을 보였다.
• 압축률이 5%에서 30%까지 다양하게 변하더라도 성능이 높은 수준을 유지하였으며, 정확도 저하가 최소한이었고, 이는 요약 길이 변화에 대한 강건성을 시사한다.
• 학습된 규칙는 매우 해석 가능했으며, 예를 들어 '만약 문장이 결론에 위치하고 tf.idf 값이 높다면, 그것은 요약 문장이다'와 같은 예시를 통해 인간의 검토 및 개선이 가능했다.