[논문 리뷰] Cross-Language Information Retrieval for Technical Documents

Atsushi Fujii, Tetsuya Ishikawa|ArXiv.org|1999. 07. 06.

Natural Language Processing Techniques참고 문헌 13인용 수 14

한 줄 요약

이 논문은 기술 문서를 대상으로 한 일본어/영어 교차 언어 정보 검색(CLIR) 시스템을 제안하며, 복합어 번역과 영어식 발음 표기(역자음)를 통해 질의 번역을 향상시킨다. 기본어의 확률적 번역과 카타카나 표기어에 대한 표면 수준의 매핑을 조합함으로써, 이 시스템은 단일 언어 검색 수준의 CLIR 성능을 달성하며, 일본어-일본어 검색 기준으로 1.04배의 F1 스코어를 기록한다.

ABSTRACT

This paper proposes a Japanese/English cross-language information retrieval (CLIR) system targeting technical documents. Our system first translates a given query containing technical terms into the target language, and then retrieves documents relevant to the translated query. The translation of technical terms is still problematic in that technical terms are often compound words, and thus new terms can be progressively created simply by combining existing base words. In addition, Japanese often represents loanwords based on its phonogram. Consequently, existing dictionaries find it difficult to achieve sufficient coverage. To counter the first problem, we use a compound word translation method, which uses a bilingual dictionary for base words and collocational statistics to resolve translation ambiguity. For the second problem, we propose a transliteration method, which identifies phonetic equivalents in the target language. We also show the effectiveness of our system using a test collection for CLIR.

연구 동기 및 목표

• 일본어와 영어 간의 교차 언어 정보 검색(CLIR)에서 기술 용어를 번역하는 데 도전하는 것, 특히 복합 기술 용어와 일본어의 외래어에 대한 번역 문제를 해결하는 것.
• 기존 双어사전이 복합 기술 용어와 일본어의 외래어를 충분히 커버하지 못하는 한계를 극복하는 것.
• 복합어 번역과 영어식 발음 표기를 통합하여 향상된 검색 정확도를 확보하는 강력한 CLIR 프레임워크를 개발하는 것.
• NACSIS 테스트 컬렉션을 사용하여 구성 요소 수준 및 전체 시스템 성능을 평가하는 것.
• 복합어 번역과 영어식 발음 표기가 기존 방법에 비해 CLIR 효과를 크게 향상시킨다는 것을 입증하는 것.

제안 방법

• 기본어에 대한 이중어사전과 어울림 통계를 활용하여 복합어의 의미 모호성을 해소하는 방법.
• 목표 언어에서의 공현 빈도를 기반으로 복합어의 가장 가능성이 높은 번역을 선택하기 위해 확률적 방법을 적용하는 것.
• 음소 체계를 복잡하게 다루지 않고도 철자 기반의 청각 유사성에 따라 영어 문자를 일본어 카타카나로 변환하는 표면 수준의 영어식 발음 표기 기법을 구현하는 것.
• 단일 언어 검색 엔진과 번역 모듈을 통합하여 질의 번역을 주요 검색 전략으로 사용하는 것.
• 일본어 질의와 기술 논문의 双어개요를 포함한 NACSIS 테스트 컬렉션을 평가에 활용하는 것.
• 표준 TREC 평가 지표, 즉 리콜-정밀도 곡선과 11점 평균 정밀도를 사용하여 시스템 성능을 비교하는 것.

실험 결과

연구 질문

• RQ1 기본어 사전 기반의 기준 방법에 비해 확률적 복합어 번역 방법이 기술 문서의 CLIR 성능을 향상시킬 수 있는가?
• RQ2 카타카나 기반 외래어의 영어식 발음 표기가 일본어-영어 CLIR에서 검색 효과성에 어느 정도 기여하는가?
• RQ3 복합어 번역과 영어식 발음 표기의 조합이 전체 CLIR 시스템 성능에 어떤 영향을 미치는가?
• RQ4 제안된 CLIR 시스템은 일본어-일본어 단일 언어 검색에 비해 검색 효과성 측면에서 어떻게 비교되는가?
• RQ5 영어식 발음 표기로 생성된 질의 변형을 사용할 경우, 문서의 철자 실수가 있는 경우에도 시스템이 안정적인가?

주요 결과

• 복합어 번역 방법(CWT)은 일본어-일본어 단일 언어 시스템의 평균 정밀도의 94.6%를 달성하여 기존 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 영어식 발음 표기 기법은 검색 성능을 일본어-일본어 기준의 94.6%까지 향상시켜 CWT 방법 자체의 성능과 동일한 결과를 기록했다.
• CWT와 영어식 발음 표기 기법을 결합했을 때, 단일 언어 시스템 대비 1.04배의 F1 스코어를 기록하여 거의 동등한 성능을 달성했다.
• 시스템은 철자 실수에 대해 뛰어난 내성성을 보였으며, 영어식 발음 표기로 생성된 다수의 타당한 변형(예: 'reduction' → 'riduction', 'redaction')이 문서 어휘와 일치하는 것을 확인했다.
• 모든 카타카나 외래어를 생략한 제어 케이스는 단일 언어 시스템의 평균 정밀도의 56.4%에 그쳐, 영어식 발음 표기의 중요성을 부각시켰다.
• 결과적으로 복합어 번역과 영어식 발음 표기는 기술 문서의 CLIR에서 효과적이고 상호 보완적인 구성 요소임을 확인했다.