[논문 리뷰] Japanese/English Cross-Language Information Retrieval: Exploration of Query Translation and Transliteration

Atsushi Fujii, Tetsuya Ishikawa|ArXiv.org|2002. 06. 09.

Natural Language Processing Techniques참고 문헌 40인용 수 12

한 줄 요약

이 논문은 기술 문서를 대상으로 한 일본어/영어 양방향 다국어 정보 검색(CLIR) 시스템을 제안하며, 복합어 번역, 카타카나 어휘의 발음 전환, 빈도 기반의 다의어 해소를 통한 약어 전개를 통합한다. 표준 이중어사전이 커버하지 못하는 기술어에 대한 번역 정확도 향상으로 인해, 이 시스템은 NACSIS 테스트 컬렉션을 통해 검증된 바에 따르면 단일 언어 기반 IR 성능에 근접한 성능을 달성한다.

ABSTRACT

Cross-language information retrieval (CLIR), where queries and documents are in different languages, has of late become one of the major topics within the information retrieval community. This paper proposes a Japanese/English CLIR system, where we combine a query translation and retrieval modules. We currently target the retrieval of technical documents, and therefore the performance of our system is highly dependent on the quality of the translation of technical terms. However, the technical term translation is still problematic in that technical terms are often compound words, and thus new terms are progressively created by combining existing base words. In addition, Japanese often represents loanwords based on its special phonogram. Consequently, existing dictionaries find it difficult to achieve sufficient coverage. To counter the first problem, we produce a Japanese/English dictionary for base words, and translate compound words on a word-by-word basis. We also use a probabilistic method to resolve translation ambiguity. For the second problem, we use a transliteration method, which corresponds words unlisted in the base word dictionary to their phonetic equivalents in the target language. We evaluate our system using a test collection for CLIR, and show that both the compound word translation and transliteration methods improve the system performance.

연구 동기 및 목표

• 일본어와 영어 간 기술 문서를 대상으로 한 다국어 정보 검색(CLIR) 기반의 도전 과제를 해결하기 위해.
• 표준 이중어사전이 완전히 커버하지 못하는 기술어에 대한 쿼리 번역 정확도를 향상시키기 위해.
• 복합 기술어의 번역, 카타카나 기반 어휘의 발음 전환, 약어 기반 기술어의 전개를 위한 자동화된 방법을 개발하고 통합하기 위해.
• 일본어 쿼리와 다국어 기술 초록으로 구성된 표준화된 NACSIS 테스트 컬렉션을 사용하여 시스템 성능을 평가하기 위해.
• 이러한 번역 기법들을 조합함으로써 기술 분야에서 CLIR의 효과성이 크게 향상됨을 입증하기 위해.

제안 방법

• 문서 컬렉션의 빈도 통계를 활용하여 대상 언어에서 기본어의 조합 확률을 기반으로 번역을 선택하는 복합어 번역 방법을 제안하였다.
• 문자 수준의 대응을 통해 일본어 카타카나 어휘를 영어의 발음 등가어로 매핑하는 발음 전환 방법을 개발하였다.
• EDR 기술어어휘사전에서 기본어 번역을 추출하여 복합어용 이중어사전을 제작하였다.
• 영어 코퍼스에서 추출한 전형적 전개형과 약어를 포함하는 약어 사전을 시스템에 통합하였다.
• 어휘 빈도 통계를 활용하여 번역 및 발음 전환의 다의어를 자동으로 해소함으로써 다의어 해소를 가능하게 하였다.
• 표준 IR 방법을 기반으로 한 단일 언어 기반 검색 모델(TF, 로그 기반 TF, SMART)과 쿼리 번역 모듈을 통합하여 성능 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 기본어 조합의 확률 기반 복합어 번역이 기술 문서의 CLIR 성능 향상에 기여하는가?
• RQ2 일본어 카타카나 어휘의 발음 전환이 일본어/영어 CLIR의 검색 정확도 향상에 어느 정도 기여하는가?
• RQ3 약어 전개(예: 'IR' → 'information retrieval')의 포함 여부가 시스템 성능에 어떤 영향을 미치는가?
• RQ4 복합어 번역, 발음 전환, 약어 전개와 같은 다수의 번역 기법을 조합할 경우 CLIR 성능 향상에 상호 보완적 효과가 발생하는가?
• RQ5 제안된 시스템이 기술 문서 검색에서 단일 언어 기반 IR 성능에 얼마나 근접한가?

주요 결과

• 기본어 조합의 확률 기반 복합어 번역 방법은 베이스라인 대비 성능 향상을 보였으며, 다른 기법과 조합할 경우 더욱 두드러진 효과를 보였다.
• 발음 전환 방법은 특히 카타카나로 표현된 기술어의 경우 검색 정확도 향상에 기여하였다.
• 약어 전개의 포함으로 특정 사례(예: 'LFG' → 'lexical functional grammar')에서 F1 점수가 크게 향상되어 성능 향상이 확인되었다.
• 복합어 번역, 발음 전환, 약어 전개의 세 가지 기법을 모두 통합한 경우, 시스템은 일본어-일본어 단일 언어 기반 IR 수준의 평균 정밀도를 달성하였다.
• 검색 모듈의 개선(예: SMART 모델 사용)은 별도로 성능 향상을 가져왔으며, 이는 향상된 쿼리 번역의 이점을 더욱 강화함을 시사한다.