[논문 리뷰] Text Matching as Image Recognition

Liang Pang, Yanyan Lan외 4명|arXiv (Cornell University)|2016. 02. 20.

Topic Modeling참고 문헌 24인용 수 176

한 줄 요약

논문은 MatchPyramid을 제안하며, 단어-수준의 유사도 매트릭스를 구성하고 단어에서 문장까지 계층적 매칭 패턴을 학습하는 CNN 기반 텍스트 매칭 접근 방식이다.

ABSTRACT

Matching two texts is a fundamental problem in many natural language processing tasks. An effective way is to extract meaningful matching patterns from words, phrases, and sentences to produce the matching score. Inspired by the success of convolutional neural network in image recognition, where neurons can capture many complicated patterns based on the extracted elementary visual patterns such as oriented edges and corners, we propose to model text matching as the problem of image recognition. Firstly, a matching matrix whose entries represent the similarities between words is constructed and viewed as an image. Then a convolutional neural network is utilized to capture rich matching patterns in a layer-by-layer way. We show that by resembling the compositional hierarchies of patterns in image recognition, our model can successfully identify salient signals such as n-gram and n-term matchings. Experimental results demonstrate its superiority against the baselines.

연구 동기 및 목표

• 단어에서 문장까지 텍스트 매칭의 풍부하고 계층적인 상호작용 패턴을 포착해야 하는 필요성을 동기화한다.
• 매칭 매트릭스를 통해 텍스트 매칭을 이미지 인식으로 다루는 새로운 심층 아키텍처(MatchPyramid)를 제안한다.
• 계층적 컨볼루션이 unigram에서 문장 수준의 매칭 신호를 포착할 수 있음을 입증한다.
• MSRP(문장 유사도)와 논문 인용 매칭에서 강력한 베이스라인과 비교하여 유효성을 입증한다.

제안 방법

• Mij가 단어 wi와 vj 사이의 유사도를 나타내는 매칭 매트릭스 M을 구성한다(임계값 지시자, 코사인, 또는 임베딩 기반의 내적 사용).
• M에 컨볼루션 신경망을 적용하여 계층적 컨볼루션과 다이나믹 풀링을 통해 다층 매칭 패턴을 추출한다.
• ReLU 활성화 함수와 상단의 두 층 MLP로 최종 매칭 점수를 생성하고 softmax 및 교차 엔트로피 손실로 학습한다.
• Adagrad로 최적화하고 조기 중지 및 드롭아웃과 같은 정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 MatchPyramid가 paraphrase identification 및 논문 인용 매칭과 같은 텍스트 매칭 작업에서 전통적이고 심층적인 베이스라인을 능가할 수 있는가?
• RQ2 단어 수준의 서로 다른 유사도 정의(지시자, 코사인, 내적)가 성능에 어떤 영향을 미치는가?
• RQ3 계층적 CNN이 의미 있는 단어-에서 문장 수준의 매칭 패턴(예: n-그램, n-용어)을 효과적으로 포착하는가?
• RQ4 다이나믹 풀링이 가변 텍스트 길이의 매칭 작업 처리에 어떤 영향을 미치는가?

주요 결과

모델	정확도(%)	F1(%)
AllPositive	66.50	79.87
Tf-Idf	70.31	77.62
DSSM	70.09	80.96
CDSSM	69.80	80.42
Arc-I	69.60	80.27
Arc-II	69.90	80.91
MP-Ind	75.77	82.66
MP-Cos	75.13	82.45
MP-Dot	75.94	83.01

• 실값(Cosine 또는 Dot) 매트릭스를 사용하는 MatchPyramid가 paraphrase identification(MSRP)에서 베이스라인을 능가하며 MP-Dot은 F1 83.01%를 달성한다.
• 논문 인용 매칭에서 MP-Dot가 최상의 결과를 달성(정확도 88.73%, F1 82.86%)하여 의미 의식 매칭이 이 작업에 도움이 됨을 시사한다.
• 지시자 기반 MP 변형(MP-Ind)은 여전히 MSRP에서 여러 베이스라인을 능가하여 정확한 단어 매칭 이상의 상호작용 패턴의 중요성을 보여준다.
• 논문 인용 매칭에서 TF-IDF가 여전히 강력한 베이스라인으로 작용하여 데이터셋 전이의 도메인 특이성을 강조한다.
• 모델은 이미지 CNN의 엣지 디텍터와 유사한 n-그램 및 n-용어 매칭에 해당하는 해석 가능한 매칭 패턴을 시각적으로 학습한다.
• 전반적으로 MatchPyramid는 연구된 작업에서 Arc-I/Arc-II 및 기타 심층 모델을 능가하여 단어에서 문장으로의 계층적 매칭 접근의 이점을 보여준다.