[논문 리뷰] Nine Features in a Random Forest to Learn Taxonomical Semantic Relations

Enrico Santus, Alessandro Lenci외 3명|arXiv (Cornell University)|2016. 03. 29.

Natural Language Processing Techniques참고 문헌 3인용 수 13

한 줄 요약

이 논문은 어휘 집합 기반의 9개의 비지도 특징을 활용하는 지도 학습 기반 랜덤 포레스트 모델인 ROOT9를 제안한다. 이 모델은 품사에 관계없이 상위어 관계, 동위어 관계, 무작위 어휘 쌍을 분류한다. 다중 분류에서 F1 스코어 90.7%를 기록하며, 벡터 코사인 기반 베이스라인 대비 최대 33.4%포인트 높은 성능을 보이며, 다양한 어휘 범주에서 뛰어난 성능과 강건성을 입증한다.

ABSTRACT

ROOT9 is a supervised system for the classification of hypernyms, co-hyponyms and random words that is derived from the already introduced ROOT13 (Santus et al., 2016). It relies on a Random Forest algorithm and nine unsupervised corpus-based features. We evaluate it with a 10-fold cross validation on 9,600 pairs, equally distributed among the three classes and involving several Parts-Of-Speech (i.e. adjectives, nouns and verbs). When all the classes are present, ROOT9 achieves an F1 score of 90.7%, against a baseline of 57.2% (vector cosine). When the classification is binary, ROOT9 achieves the following results against the baseline: hypernyms-co-hyponyms 95.7% vs. 69.8%, hypernyms-random 91.8% vs. 64.1% and co-hyponyms-random 97.8% vs. 79.4%. In order to compare the performance with the state-of-the-art, we have also evaluated ROOT9 in subsets of the Weeds et al. (2014) datasets, proving that it is in fact competitive. Finally, we investigated whether the system learns the semantic relation or it simply learns the prototypical hypernyms, as claimed by Levy et al. (2015). The second possibility seems to be the most likely, even though ROOT9 can be trained on negative examples (i.e., switched hypernyms) to drastically reduce this bias.

연구 동기 및 목표

• 다양한 품사에 걸쳐 상위어 관계, 동위어 관계, 무작위 어휘 쌍을 정확하게 분류할 수 있는 지도 학습 시스템을 개발하는 것.
• 균형 잡힌 9,600개의 어휘 쌍 데이터셋(세 가지 의미 관계 유형에 동일하게 분포)에서 모델의 성능을 평가하는 것.
• 이전 연구에서 제기된 바와 같이, 모델이 진정한 의미 관계를 학습하는지 아니면 유형화된 상위어 패턴을 단지 암기하는지 확인하는 것.
• Weeds 등(2014)의 벤치마크 데이터셋의 부분 집합을 사용하여, ROOT9의 성능을 최신 기술 수준의 시스템들과 비교하는 것.

제안 방법

• 모델는 분포 기반 어휘 표현에서 유도된 9개의 비지도, 어휘 기반 특징을 기반으로 훈련된 랜덤 포레스트 분류기 사용.
• 특징으로는 분포 유사도 측정치, 문법 패턴, 공출현 통계치 등이 포함되며, 모두 수동 레이블링 없이 대규모 텍스트 코퍼스에서 계산됨.
• 모델는 9,600개의 어휘 쌍으로 훈련되며, 상위어, 동위어, 무작위 쌍 간에 동일한 클래스 분포를 가지며, 10겹 교차 검증을 통해 평가됨.
• 일반화 능력을 평가하기 위해 Weeds 등(2014)의 데이터셋 부분 집합에서 테스트를 수행하여 이전 최신 기술 수준의 시스템들과의 비교 가능.
• 모델는 유형화된 상위어 패턴에 대한 편향을 줄이기 위해 부정 예시(예: 뒤바뀐 상위어)를 사용하여 추가로 최적화됨.
• 성능 평가에는 다중 분류 및 이진 분류 설정 모두에서 F1 스코어를 사용함.

실험 결과

연구 질문

• RQ1 비지도 특징을 활용하는 지도 학습 기반의 랜덤 포레스트 모델이 상위어, 동위어, 무작위 어휘 쌍의 세 가지 유형의 분류를 효과적으로 수행할 수 있는가?
• RQ2 모델의 높은 정확도는 진정한 의미 관계를 학습한 결과인지, 아니면 유형화된 상위어 패턴을 암기한 결과인가?
• RQ3 기존 최신 기술 수준의 시스템들과 표준 벤치마크 데이터셋에서 ROOT9의 성능은 어떻게 비교되는가?
• RQ4 부정 예시(예: 뒤바뀐 상위어)를 사용한 훈련이 모델의 유형화된 상위어 패턴에 대한 편향을 어느 정도 감소시킬 수 있는가?

주요 결과

• 모든 세 가지 관계 유형에 걸쳐 다중 분류에서 ROOT9는 F1 스코어 90.7%를 기록하며, 벡터 코사인 기반 베이스라인의 57.2%보다 유의미하게 높은 성능을 보였다.
• 이진 분류에서 상위어 대 동위어의 경우, ROOT9는 F1 스코어 95.7%를 기록했으며, 베이스라인은 69.8%였다.
• 상위어 대 무작위 쌍의 경우, ROOT9는 F1 스코어 91.8%를 기록했고, 베이스라인은 64.1%였다.
• 동위어 대 무작위 쌍의 경우, ROOT9는 F1 스코어 97.8%를 기록하며, 베이스라인의 79.4%를 뛰어넘었다.
• Weeds 등(2014)의 데이터셋 부분 집합에서의 평가 결과, ROOT9가 최신 기술 수준의 시스템들과 경쟁 가능함을 확인했다.
• 모델는 뚜렷한 경향으로 유형화된 상위어 패턴을 학습하는 경향이 있었지만, 부정 예시(즉, 뒤바뀐 상위어)를 사용한 훈련을 통해 이 편향이 크게 감소함을 확인했다.