[논문 리뷰] On Incorporating Semantic Prior Knowlegde in Deep Learning Through Embedding-Space Constraints

Damien Teney, Ehsan Abbasnejad외 1명|arXiv (Cornell University)|2019. 09. 25.

Multimodal Machine Learning Applications참고 문헌 33인용 수 7

한 줄 요약

이 논문은 소프트 정규화 방법 대신 임베딩 공간에 엄격한 제약 조건을 적용하여 의미 관계(예: 질문 간의 함의 관계)와 같은 사전 지식을 딥 러닝 모델에 통합하는 방법을 제안한다. 시각질문응답(VQA)에서 이 접근법은 특히 제한된 레이블 데이터를 사용할 경우 정확도와 견고성을 향상시키며, 인스턴스 간의 논리적 관계와 동치성 관계를 유지한다.

ABSTRACT

The knowledge that humans hold about a problem often extends far beyond a set of training data and output labels. While the success of deep learning mostly relies on supervised training, important properties cannot be inferred efficiently from end-to-end annotations alone, for example causal relations or domain-specific invariances. We present a general technique to supplement supervised training with prior knowledge expressed as relations between training instances. We illustrate the method on the task of visual question answering to exploit various auxiliary annotations, including relations of equivalence and of logical entailment between questions. Existing methods to use these annotations, including auxiliary losses and data augmentation, cannot guarantee the strict inclusion of these relations into the model since they require a careful balancing against the end-to-end objective. Our method uses these relations to shape the embedding space of the model, and treats them as strict constraints on its learned representations. In the context of VQA, this approach brings significant improvements in accuracy and robustness, in particular over the common practice of incorporating the constraints as a soft regularizer. We also show that incorporating this type of prior knowledge with our method brings consistent improvements, independently from the amount of supervised data used. It demonstrates the value of an additional training signal that is otherwise difficult to extract from end-to-end annotations alone.

연구 동기 및 목표

• 인과 관계나 논리적 함의와 같이 암묵적이고 도메인 특화된 지식을 포괄하지 못하는 감독 학습의 한계를 해결하기 위해.
• 소프트 정규화에 의존하는 것 대신, 사전 지식을 임베딩 공간에서 엄격한 제약 조건으로 강제하는 기법을 개발하기 위해.
• 질문의 동치성 및 함의성과 같은 보조 애너테이션을 통합하여 시각질문응답(VQA)에서 모델의 일반화 능력과 견고성을 향상시키기 위해.
• 사용 가능한 감독 데이터의 양과 관계없이 사전 지식을 효과적으로 활용할 수 있음을 입증하기 위해.
• VQA를 넘어서 다양한 작업에 적용 가능한 일반적인 프레임워크를 제공하기 위해.

제안 방법

• 사전 지식을 학습 인스턴스 간의 관계(예: 함의, 동치성)로 표현하고, 이를 표현 공간에서 기하학적 제약 조건으로 통합한다.
• 상대적 거리나 각도가 지정된 의미 관계를 반영하도록 손실 함수를 수정하여 이러한 관계를 강제한다.
• 최적화 과정에서 이러한 제약 조건을 딱딱한 요구 조건으로 간주하여, 모델의 표현이 주어진 관계를 엄격히 유지하도록 보장한다.
• 주 감독 손실과의 수동 균형 조정이 필요 없이도 이 제약 조건을 학습 목표에 통합한다.
• 이 방법은 VQA에 적용되며, 함의 또는 동치성 관계를 가진 질문 쌍과 같은 보조 애너테이션을 사용하여 임베딩 공간을 형상화한다.
• 모델은 주 작업에서 정확한 표현을 학습하면서도 제공된 의미 관계를 충실하게 반영하는 표현을 얻는다.

실험 결과

연구 질문

• RQ1 표준 감독 학습을 초월해 의미 사전 지식을 딥 러닝 모델에 효과적으로 통합할 수 있는가?
• RQ2 임베딩 공간에서 의미 관계를 딱딱한 제약 조건으로 강제할 경우 VQA에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 이러한 제약 조건을 통합하면 제한된 레이블 데이터에서 특히 모델의 견고성과 일반화 능력이 향상되는가?
• RQ4 의미 관계를 유지하는 데 있어 이 방법은 소프트 정규화나 데이터 증강 기법보다 어떻게 다를까?
• RQ5 이 방법은 다양한 종류의 사전 지식과 작업에 일반적으로 적용될 수 있는가?

주요 결과

• 의미 관계를 임베딩 공간에서 딱딱한 제약 조건으로 강제함으로써 VQA 정확도가 크게 향상된다.
• 소프트 정규화 기법과 비교해 볼 때, 특히 분포 외부 및 악성 설정에서 모델의 견고성이 향상된다.
• 다양한 데이터 제약 조건에서도 성능 향상이 일관되게 관찰되며, 제한된 감독 데이터에서도 강력한 이점을 보인다.
• 의사 손실이나 데이터 증강을 사용하는 기존 방법들과는 달리, 이 방법은 의미 관계를 엄격히 준수할 수 있다.
• 임베딩 공간 제약 조건은 질문 간 논리적 함의와 동치성을 효과적으로 유지하여 더 신뢰할 수 있고 해석 가능한 표현을 만들어낸다.
• 이 방법은 엔드 투 엔드 감독 학습과의 보완 신호로서 명시적 의미 사전 지식의 가치를 입증한다.