[논문 리뷰] Zero-shot Transfer Learning for Semantic Parsing

Javid Dadashkarimi, Alexander R. Fabbri외 2명|arXiv (Cornell University)|2018. 08. 27.

Topic Modeling참고 문헌 23인용 수 3

한 줄 요약

이 논문은 공유 인코더-디코더와 학습 가능한 도메인 매핑 행렬을 사용하여 교차 도메인 예제를 공유 잠재 공간에 정렬하는 제로샷 전이 학습 프레임워크를 제안한다. 영향 함수를 활용해 교차 도메인 적대적 공격를 수행함으로써, 유사하지 않은 도메인에서 유용한 예제를 식별하고 증강하여, 기준 모델을 초과하는 모델 파rameter 수를 늘리지 않고도 토큰 수준과 시퀀스 수준에서 제로샷 성능을 크게 향상시킨다.

ABSTRACT

While neural networks have shown impressive performance on large datasets, applying these models to tasks where little data is available remains a challenging problem. In this paper we propose to use feature transfer in a zero-shot experimental setting on the task of semantic parsing. We first introduce a new method for learning the shared space between multiple domains based on the prediction of the domain label for each example. Our experiments support the superiority of this method in a zero-shot experimental setting in terms of accuracy metrics compared to state-of-the-art techniques. In the second part of this paper we study the impact of individual domains and examples on semantic parsing performance. We use influence functions to this aim and investigate the sensitivity of domain-label classification loss on each example. Our findings reveal that cross-domain adversarial attacks identify useful examples for training even from the domains the least similar to the target domain. Augmenting our training data with these influential examples further boosts our accuracy at both the token and the sequence level.

연구 동기 및 목표

• 라벨이 부족한 상황에서 저자원 세미틱 파싱 문제를 해결하기 위해.
• 다양한 세미틱 파싱 도메인 간의 공유 표현을 학습하여 교차 도메인 일반화 성능을 향상시키기 위해.
• 유사하지 않은 도메인에서 유용한 학습 예제를 식별하고 활용하여 모델 성능을 향상시키기 위해.
• 정확도를 유지하거나 향상시키면서도 파rameter 증가를 최소화하기 위해.

제안 방법

• 공유 인코더와 디코더를 사용하고, 각 예제를 도메인에 매핑하기 위해 학습 가능한 가중치 행렬 W_T를 도입함으로써, 파rameter 효율적인 도메인 적응을 가능하게 한다.
• 정확한 도메인 레이블 예측을 장려하는 손실 함수를 최소화함으로써, 효과적으로 공유 표현 공간을 학습한다.
• 영향 함수를 적용하여 개별 예제가 도메인 분류 손실에 미치는 영향을 정량화하고, 가장 영향력 있는 학습 인스턴스를 식별한다.
• 한 도메인의 예제를 변형하고 다른 도메인에 미치는 영향을 측정함으로써 교차 도메인 적대적 공격를 수행하며, 도메인 간 비대칭적 영향을 드러낸다.
• 성능 향상을 위해, 관련성이 낮은 도메인(예: calendar에 대해 atis)에서 상위-k 유용한 예제를 선택하여 학습 데이터를 증강하고 재학습한다.
• W_T의 행 슬라이싱을 통한 정규화 제약 조건을 사용하여 파rameter 증가를 제한하고, 모델 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 공유 인코더-디코더와 도메인 매핑 행렬을 사용할 경우, 전이 학습 기준 모델에 비해 제로샷 세미틱 파싱에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 개별 예제와 도메인이 모델 성능에 기여하는 방식은 무엇이며, 가장 영향력 있는 것은 무엇인가?
• RQ3 가장 유사하지 않은 도메인에서도 교차 도메인 적대적 공격를 통해 유용한 학습 예제를 식별할 수 있는가?
• RQ4 멀리 떨어진 도메인에서 영향 기반 샘플링을 통해 데이터 증강을 수행하면 제로샷 세미틱 파싱 정확도가 향상되는가?
• RQ5 예제가 모델 성능에 미치는 영향은 도메인 간으로 대칭적인가, 아니면 일부 방향의 전이가 더 효과적인가?

주요 결과

• 제안된 제로샷 k*d 방법은 더 적은 파rameter를 사용함에도 불구하고, 최신 공유 인코더 및 공유 디코더 모델보다 높은 정확도를 달성한다.
• 저자원 환경에서 파rameter를 더 늘리면 성능이 악화됨을 확인하여, 파rameter 효율성의 이점을 입증한다.
• 가장 유사하지 않은 도메인(예: calendar에 대해 atis)조차도, 학습에 포함되었을 때 토큰 수준과 시퀀스 수준에서 성능 향상을 이끌 수 있는 영향력 있는 예제를 포함하고 있다.
• 교차 도메인 적대적 공격는 대칭적이지 않다: 예를 들어 atis → calendar 방향에서의 영향력이 반대 방향보다 더 강하다는 것이 영향 함수 분석을 통해 확인되었다.
• p(빈도 높은 예제)와 1−p(희귀 예제)에서 영향 기반 샘플링을 통한 데이터 증강은 성능 향상을 이끌어내며, 특히 n ≤ 40개의 학습 예제가 존재할 경우에 더 두드러진다.
• 가장 가까운 도메인을 제거해도 성능이 유지되나(가장 큰 정확도 하락), 가장 먼 도메인을 제거하면 더 민감하게 반응함을 확인하여, 도메인 간 이점이 균일하지 않음을 시사한다.