[논문 리뷰] Cross-language Learning with Adversarial Neural Networks: Application to Community Question Answering

Shafiq Joty, Preslav Nakov외 2명|arXiv (Cornell University)|2017. 06. 21.

Topic Modeling참고 문헌 46인용 수 13

한 줄 요약

이 논문은 레이블이 붙은 영어 데이터와 레이블이 없는 아랍어 데이터만을 사용하여 영어에서 훈련된 질문-질문 유사도 재정렬 모델을 아랍어로 적응시키기 위해 교차 언어 적대적 신경망(CLANN)을 제안한다. 유사도 분류에 대해 분별력 있는 동시에 언어 간에 불변인 공통 표현을 적대적으로 훈련시킴으로써 CLANN은 비적대적 기반 모델에 비해 상당한 성능 향상을 이루었으며, 강력한 단언어 시스템과 비교할 만한 성능을 달성하였다.

ABSTRACT

We address the problem of cross-language adaptation for question-question similarity reranking in community question answering, with the objective to port a system trained on one input language to another input language given labeled training data for the first language and only unlabeled data for the second language. In particular, we propose to use adversarial training of neural networks to learn high-level features that are discriminative for the main learning task, and at the same time are invariant across the input languages. The evaluation results show sizable improvements for our cross-language adversarial neural network (CLANN) model over a strong non-adversarial system.

연구 동기 및 목표

• 레이블이 붙은 데이터가 원본 언어(영어)에서만 이용 가능하고, 대상 언어(아랍어)에서만 레이블이 없는 데이터가 존재하는 커뮤니티 질문 응답 환경에서의 교차 언어 적응을 다루기 위해.
• 병행 훈련 데이터가 필요 없이 적대적 훈련이 신경망의 일반화를 언어 간에 향상시킬 수 있는지 탐색하기 위해.
• 유사도 분류에 대해 분별력 있고 언어 특유의 변형에서 불변인 통합된 교차 언어 표현을 개발하기 위해.
• 교차 언어 NLP 작업에 대해 비지도 및 준지도 설정에서 적대적 훈련의 효과성을 평가하기 위해.
• 적대적 학습이 고자원 언어(영어)에서 저자원 언어(아랍어)로 지식을 효과적으로 전이시켜 질문 유사도 정렬 작업에서 최첨단 단언어 시스템과 비교할 만한 성능을 달성할 수 있는지 보여주기 위해.

제안 방법

• 원본 언어(영어)와 대상 언어(아랍어) 입력을 구분하는 언어 식별자 모델을 갖춘 도메인 적대적 신경망(DANN) 프레임워크를 교차 언어 환경에 적용하기 위해.
• 주된 과제인 질문 쌍의 유사도 분류에 대해 분별력 있는 동시에 언어 간에 불변인 고수준 표현을 생성하는 공통 특징 추출기를 훈련하기 위해.
• 기울기 반전을 통해 역전파 동안 특징 추출기를 언어 식별자에 대해 적대적으로 만들며, 도메인 불변 표현을 장려하기 위해.
• 교차 언어 단어 임베딩을 피드포워드 신경망에 입력하고, 최종 레이어를 주 분류기와 언어 식별자 간에 공유하기 위해.
• 대상 언어의 레이블이 붙은 예시를 통합하여 준지도 설정으로 확장함으로써, 레이블이 붙은 원본, 레이블이 붙은 대상, 그리고 레이블이 없는 대상 데이터를 함께 훈련할 수 있도록 하기 위해.
• 레이블이 붙은 원본 예시, 레이블이 붙은 대상 예시, 그리고 레이블이 없는 대상 예시를 모두 구분하여 각각 다른 감독 신호를 사용하여 언어 식별자를 훈련하기 위해.

실험 결과

연구 질문

• RQ1 적대적 훈련이 언어에 불변이면서 동시에 질문 유사도 분류에 대해 분별력 있는 교차 언어 표현을 효과적으로 학습할 수 있는가?
• RQ2 레이블이 붙은 대상 언어 데이터가 전혀 없을 때, CLANN 모델의 성능이 비적대적 기반 모델에 비해 어떻게 비교되는가?
• RQ3 소량의 레이블이 붙은 대상 언어 데이터를 추가로 포함함으로써 준지도 설정에서 성능 향상이 어느 정도 이루어지는가?
• RQ4 CLANN 프레임워크는 다양한 적응 방향(예: 영어→아랍어 대비 아랍어→영어)에 대해 잘 일반화되는가?
• RQ5 교차 언어 설정에서의 적대적 훈련이 전체 레이블이 붙은 데이터로 훈련된 단언어 시스템과 비교할 만한 성능을 달성할 수 있는가?

주요 결과

• 준지도 훈련에서 레이블이 붙은 데이터의 50%와 레이블이 없는 아랍어 예시를 사용할 때, CLANN 모델은 영어→아랍어 방향에서 MAP 점수 76.65를 기록했으며, 비적대적 FNN 기반 모델의 74.69보다 높았다.
• 영어→아랍어 방향에서 CLANN-semisup 모델은 MRR를 83.79에서 84.52로, AvgRec를 88.16에서 90.84로 향상시켜 모든 평가 지표에서 일관된 성능 향상을 보였다.
• 비지도 설정(레이블이 없는 아랍어 데이터만 사용)에서도 CLANN은 비적대적 FNN 모델보다 상당한 성능 차이를 보이며 레이블이 없는 대상 언어 데이터만으로도 적대적 훈련의 효과성을 입증했다.
• 준지도 훈련을 통해 레이블이 붙은 대상 언어 데이터를 제한적으로 활용한 CLANN 모델의 성능은 전체 지도 훈련 기반 모델과 매우 유사했으며, 이는 대상 언어에서의 제한된 레이블 데이터를 효과적으로 활용할 수 있음을 시사한다.
• 모델는 두 방향의 적응(영어→아랍어 및 아랍어→영어) 모두에서 강력한 일반화 능력을 보였으며, 학습된 교차 언어 표현의 대칭성과 안정성을 확인했다.
• 결과는 적대적 훈련이 고자원 언어에서 저자원 언어로 지식을 효과적으로 전이시켜 질문 유사도 정렬 작업에서 최첨단 단언어 시스템과 비교할 만한 성능을 달성할 수 있음을 입증한다.