[논문 리뷰] Using the Web as an Implicit Training Set: Application to Noun Compound Syntax and Semantics

Preslav Nakov|arXiv (Cornell University)|2019. 11. 23.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 표면 특징, 어휘 어휘 어휘, 빈도 추정치를 위해 검색 엔진 쿼리 결과를 활용하여 웹을 암시적 훈련 데이터로 사용하여 명사 복합어 분석 및 의미 해석을 향상시키는 방법을 제안한다. 이는 비지도 명사 복합어 괄호 매칭에서 최고 성능을 달성하며 기계 번역, 정보 검색, 질의 응답과 같은 응용 분야에서 의미 있는 어휘 어휘를 가능하게 한다.

ABSTRACT

An important characteristic of English written text is the abundance of noun compounds - sequences of nouns acting as a single noun, e.g., colon cancer tumor suppressor protein. While eventually mastered by domain experts, their interpretation poses a major challenge for automated analysis. Understanding noun compounds' syntax and semantics is important for many natural language applications, including question answering, machine translation, information retrieval, and information extraction. I address the problem of noun compounds syntax by means of novel, highly accurate unsupervised and lightly supervised algorithms using the Web as a corpus and search engines as interfaces to that corpus. Traditionally the Web has been viewed as a source of page hit counts, used as an estimate for n-gram word frequencies. I extend this approach by introducing novel surface features and paraphrases, which yield state-of-the-art results for the task of noun compound bracketing. I also show how these kinds of features can be applied to other structural ambiguity problems, like prepositional phrase attachment and noun phrase coordination. I address noun compound semantics by automatically generating paraphrasing verbs and prepositions that make explicit the hidden semantic relations between the nouns in a noun compound. I also demonstrate how these paraphrasing verbs can be used to solve various relational similarity problems, and how paraphrasing noun compounds can improve machine translation.

연구 동기 및 목표

• 과학적 및 기술적 문헌에서 흔한 문법적·의미적 복잡한 명사 복합어를 해석하고 분석하는 데 도전하는 것.
• 명사 복합어 문법 및 의미에 대한 애너테이션된 훈련 데이터 부족 문제를 해결하기 위해 웹을 암시적이고 대규모의 코퍼스로 활용하는 것.
• 검색 엔진 인터페이스를 활용하여 표면 특징, 어휘 어휘, 빈도 추정치를 추출하는 비지도 및 경량 지도 학습 방법을 개발하여 분석 및 의미 해석을 향상시키는 것.
• 질의 응답, 정보 검색, 기계 번역 등의 응용 분야를 위해 명사 복합어의 의미 있는 어휘 어휘를 생성함으로써 기여하는 것.
• 웹 유래 특징 및 어휘 어휘가 구조적 모호성을 해결하고 관계 유사도 및 번역 품질을 향상시킬 수 있음을 입증하는 것.

제안 방법

• n-그램 빈도의 대체로 웹 검색 히트 수를 사용하여 웹을 비지도 학습을 위한 거대하고 암시적인 코퍼스로 간주하는 것.
• 다이어그램, 소유격 표시자, 내부 대문자, 임bedded 슬래시, 괄호와 같은 새로운 웹 기반 표면 특징을 도입하여 괄호 매칭 정확도를 향상시키는 것.
• 숨겨진 의미 관계를 모델링하기 위해 'be produced by', 'be used for' 등의 어휘 어휘 패턴을 개발하는 것.
• 단일 상관도 지표(PMI)와 카이제곱 점수를 사용하여 단어와 특징 간의 연관성을 측정하고 특징 선택을 향상시키는 것.
• 와일드카드 쿼리와 역순 인접 모델을 사용하여 비연속적이거나 순서가 뒤바뀐 명사 복합어의 구조를 포착하는 것.
• 빈도 기반 특징과 어휘 어휘 패턴을 결합하여 수동 애너테이션 없이도 정확한 괄호 매칭과 의미 관계 예측을 위한 모델을 훈련하는 것.

실험 결과

연구 질문

• RQ1 웹은 명사 복합어 문법 및 의미에 대한 훈련 데이터로 효과적이고 확장 가능하며 비지도로 활용 가능한가?
• RQ2 웹 기반 표면 특징과 어휘 어휘 패턴은 전통적인 n-그램 모델 대비 명사 복합어 괄호 매칭 정확도를 얼마나 향상시키는가?
• RQ3 자동으로 생성된 어휘 어휘 동사와 전치사가 명사 복합어의 관계 유사도 및 의미 해석을 얼마나 향상시키는가?
• RQ4 웹 기반 특징과 어휘 어휘는 알려지지 않은 명사 복합어에 대한 기계 번역 시스템의 성능을 향상시킬 수 있는가?
• RQ5 웹 히트 추정치는 언어학 작업에서 얼마나 안정적이고 신뢰할 수 있으며 주요 노이즈 및 일관성 없는 원인은 무엇인가?

주요 결과

• 제안된 방법은 비지도 명사 복합어 괄호 매칭에서 최고 성능을 달성하여 기존의 n-그램 및 의존성 모델을 크게 능가한다.
• 웹 기반 표면 특징인 대시, 소유격 표시자, 괄호 등이 원시 텍스트에 존재하지 않는 문법적 신호를 포착하여 괄호 매칭 정확도를 향상시킨다.
• 어휘 어휘 패턴(예: 'be produced by', 'be used for')은 복합어 내 명사 간 의미 관계를 성공적으로 모델링하여 의미 해석 및 관계 유사도 계산을 가능하게 한다.
• 어휘 어휘 동사의 사용은 기계 번역을 향상시키며, 예를 들어 'WTO Geneva headquarters'를 'Geneva headquarters of the WTO'로 변환하는 어휘 어휘를 가능하게 한다.
• 히트 추정치의 안정성에 한계가 있음에도 불구하고, 웹 기반 특징은 다양한 검색 엔진과 시간에 걸쳐 안정적으로 성능을 유지하며 특히 신뢰 구간과 필터링을 결합할 경우 더욱 견고한 결과를 도출한다.
• 이 방법은 전치사어구 첨부 및 명사어구 조인 문제와 같은 다른 구조적 모호성 문제에도 일반화 가능하여 광범위한 적용 가능성을 입증한다.