[논문 리뷰] Applying a Hybrid Query Translation Method to Japanese/English Cross-Language Patent Retrieval

Masatoshi Fukui, Shigeto Higuchi외 4명|ArXiv.org|2002. 06. 24.

Semantic Web and Ontologies참고 문헌 15인용 수 6

한 줄 요약

이 논문은 일본어/영어 간 크로스라 ngu아이 패트런트 검색을 위한 하이브리드 쿼리 번역 방법을 제안하며, 여러 사전과 바이그램 통계를 결합하여 번역 모호성을 해결한다. 이 방법은 평균 정밀도에서 단일 언어 검색 성능의 76%를 달성하여, 모호성 해소가 단순 사전 기반 방법에 비해 크로스라 ngu아이 패트런트 검색의 효과성을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

This paper applies an existing query translation method to cross-language patent retrieval. In our method, multiple dictionaries are used to derive all possible translations for an input query, and collocational statistics are used to resolve translation ambiguity. We used Japanese/English parallel patent abstracts to perform comparative experiments, where our method outperformed a simple dictionary-based query translation method, and achieved 76% of monolingual retrieval in terms of average precision.

연구 동기 및 목표

• 일본어와 영어 간 크로스라 ngu아이 패트런트 검색 성능을 향상시키기 위해 하이브리드 쿼리 번역 접근법을 사용하는 것.
• 기술적 패트런트 검색 환경에서 번역 모호성 해소의 효과성을 평가하는 것.
• 사전 기반 번역과 바이그램 통계를 활용한 모호성 해소 방식의 성능을 비교하는 것.
• 패트런트 정보 검색 분야에서 크로스라 ngu아이 검색 성능이 단일 언어 검색 성능에 얼마나 가까워지는지 평가하는 것.

제안 방법

• 시스템은 EDR 기술 및 일반 사전을 사용하여 쿼리 어휘에 대한 가능한 모든 번역을 생성한다.
• 목록에 없는 단어는 대체로 대상 언어에서 청각적 등가를 생성하기 위해 이국화(phonetic transcription)를 통해 처리된다.
• NACSIS 컬렉션에서 추출한 바이그램 통계를 사용하여 번역 모호성을 해소하고, 가장 가능성 높은 번역 조합을 선택한다.
• 검색 엔진은 문서 순위 매기기 위해 벡터 공간 모델과 TF·IDF 가중치를 사용한다.
• 영어 문서는 스토퍼드워드 제거 및 어간 추출을 위해 WordNet을 사용하여 토큰화된다; 일본어 문서는 ChaSen 형태소 분석기를 사용하여 분할된다.
• 쿼리와 문서 벡터 간의 코사인 유사도를 기반으로 관련 문서를 검색하며, 가독성을 높이기 위해 선택적으로 기계 번역을 적용할 수 있다.

실험 결과

연구 질문

• RQ1 바이그램 통계를 활용한 번역 모호성 해소가 크로스라 ngu아이 패트런트 검색 성능을 향상시키는가?
• RQ2 일본어/영어 패트런트 검색에서 하이브리드 쿼리 번역 방법의 성능은 단순 사전 기반 접근법에 비해 어떻게 다른가?
• RQ3 패트런트 도메인에서 크로스라 ngu아이 검색 성능이 단일 언어 검색 성능에 얼마나 가까워지는가?
• RQ4 다른 컬렉션(NACSIS)에서 추출한 바이그램 통계가 더 작은 대상 컬렉션(JAPIO)에서 번역 품질 향상에 효과적으로 기여하는가?

주요 결과

• 모호성 해소 기반 하이브리드 방법(JEDIS)은 단일 언어 일본어 검색(JJ)의 평균 정밀도의 76%를 달성하여 성능 향상이 뚜렷하게 나타났다.
• 단지 사전 기반 번역을 사용한 방법(JEALL)은 단일 언어 성능의 65.26%를 달성하여, 모호성 해소의 유용성을 확인하였다.
• 모든 리콜 수준에서 JEDIS 방법이 JEALL을 능가하여, 바이그램 통계가 번역 모호성을 효과적으로 줄임을 시사한다.
• 특허의 전문 용어 도전 과제가 있음에도 불구하고, 시스템의 성능은 뉴스 기사 및 기술 초록 컬렉션에서의 기존 CLIR 시스템과 유사했다.
• k-best 번역 선택에서 k=1일 때 최고의 성능을 기록하여, 다수의 후보를 사용하는 것보다 정밀도가 높은 단일 번역이 더 효과적임을 시사한다.