[논문 리뷰] Genetic Algorithms For Extractive Summarization

William Chen, Kensal Ramos외 2명|arXiv (Cornell University)|2021. 05. 05.

Topic Modeling참고 문헌 11인용 수 4

한 줄 요약

이 논문은 추출적 텍스트 요약을 위한 유전 알고리즘(GA) 기반 접근법을 제안하며, 깊이 학습의 데이터 및 계산 요구 사항을 피하기 위해 중요한 문장을 식별하는 데 최적의 단어 가중치를 학습한다. GA는 어휘 내 단어 가중치를 최적화하여 문장 중요도 점수를 진화시키며, 최소한의 초모수 조정으로도 경쟁력 있는 ROUGE 점수(학습 세트 기준 최대 28.6)를 달성한다. 이는 큰 크기이거나 노이즈가 많은 어휘에서도 일반화 능력을 보여준다.

ABSTRACT

Most current work in NLP utilizes deep learning, which requires a lot of training data and computational power. This paper investigates the strengths of Genetic Algorithms (GAs) for extractive summarization, as we hypothesized that GAs could construct more efficient solutions for the summarization task due to their relative customizability relative to deep learning models. This is done by building a vocabulary set, the words of which are represented as an array of weights, and optimizing those set of weights with the GA. These weights can be used to build an overall weighting of a sentence, which can then be passed to some threshold for extraction. Our results showed that the GA was able to learn a weight representation that could filter out excessive vocabulary and thus dictate sentence importance based on common English words.

연구 동기 및 목표

• 추출적 텍스트 요약을 위한 깊이 학습의 경량화되고 커스터마이징 가능한 대안으로서 유전 알고리즘을 탐색하기 위해.
• 유전 알고리즘이 문장 수준 히وري스틱에 의존하지 않고도 일반화 가능한 문장 중요도 특징을 학습할 수 있는지 조사하기 위해.
• ROUGE 메트릭을 사용하여 학습 세트 크기와 어휘 크기가 요약 성능에 미치는 영향을 평가하기 위해.
• 유전 알고리즘이 큰 어휘에서 노이즈를 효과적으로 걸러내고 의미 있는 단어 가중치 표현에 수렴할 수 있는지 확인하기 위해.
• 저전력 및 효율적인 요약 시스템에 대해 유전 알고리즘을 사용할 수 있는지 타당성을 평가하기 위해.

제안 방법

• 모든 어휘 내 단어를 0에서 1 사이의 가중치를 가진 유전자로 표현하며, GA 집단 내 각 개체에 대해 이 유전자들이 염색체를 형성한다.
• 문장 중요도는 문장 내 모든 단어의 평균 가중치로 계산되며, 알려지지 않은 단어는 기본적으로 가중치 0으로 간주된다.
• 고정된 임계값(0.6)을 적용하여 평균 가중치가 이를 초과하는 문장을 선택함으로써 요약을 구성한다.
• GA는 표준 연산인 선택, 교차, 변이(가중치를 0으로 설정하여 유전자 삭제)를 여러 세대에 걸쳐 수행하여 적합도를 최적화한다.
• 적합도는 학습 및 테스트 세트에서 기준 요약과의 ROUGE-1 F1 점수를 평가함으로써 평가된다.
• 어휘는 학습 데이터에서 구축되며, 실험은 학습 세트 크기(50, 100)와 어휘 크기(50, 1,000, 90,000)를 다양하게 설정한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘이 추출적 요약에서 중요한 문장을 효과적으로 식별하는 데 의미 있는 단어 가중치를 학습할 수 있는가?
• RQ2 학습 세트 크기와 어휘 크기가 GA 기반 요약 모델의 성능에 어떤 영향을 미치는가?
• RQ3 어휘 크기가 학습 데이터 크기를 초과할 경우, 특히 다양한 데이터 분포 간에서 GA가 잘 일반화되는가?
• RQ4 큰 어휘에서 관련 없거나 노이즈가 많은 단어를 효과적으로 걸러내어 의미적으로 중요한 용어에 집중할 수 있는가?
• RQ5 기존 연구와 비교해 볼 때, GA는 수작업 문장 수준 히وري스틱에 얼마나 의존도를 줄일 수 있는가?

주요 결과

• 최고의 성능을 보인 모델은 90,000개의 어휘를 가진 전체 어휘로 100개 샘플에서 학습한 경우 학습 세트에서 ROUGE-1 점수 28.6을 기록했다.
• 50개 샘플에서 동일한 50개 샘플로 구성된 어휘를 사용해 학습한 모델는 테스트 세트에서 ROUGE 점수 26.26을 기록했으며, 더 큰 어휘를 사용한 100개 샘플 학습 모델보다 뛰어난 성능을 보였다.
• GA는 빠르게 수렴하여, 인구 수 100명, 어휘 325,000 토큰 조건에서도 35세대 내에 局부 최적해에 도달했다.
• 큰 해공간을 가진 상태에서도 GA는 노이즈를 효과적으로 걸러내고 요약을 위해 공통적이며 영향력 있는 영어 단어를 우선순위로 삼는 데 성공했다.
• 어휘 크기가 증가함에 따라 ROUGE 점수의 향상이 거의 없었으며, 이는 GA가 어휘 척도에 관계없이 가장 두드러진 단어에 집중하는 것을 학습한다는 것을 시사한다.
• 100개 샘플에서 90,000개 어휘로 학습한 모델는 테스트 세트에서 ROUGE 점수 23.59를 기록하여 제한된 데이터로부터도 뛰어난 일반화 능력을 보였다.