[논문 리뷰] Knowledge will Propel Machine Understanding of Content: Extrapolating from Current Examples

Amit Sheth, Sujan Perera외 1명|arXiv (Cornell University)|2016. 10. 25.

Natural Language Processing Techniques참고 문헌 36인용 수 10

한 줄 요약

이 논문은 레이블이 부족하거나 과제가 주관적, 암묵적 또는 다중모달 콘텐츠를 포함할 경우, 지식 통합이 복잡한 텍스트와 다중모달 데이터에 대한 기계적 이해를 향상시키는 데 필수적임을 주장한다. 레이블이 없는 데이터에 기반한 접근 방식만으로는 한계가 있는 바, 도메인 특화 또는 다중 도메인 지식을 목적적으로 생성하고 기계 학습 및 자연어 처리 기법을 결합함으로써, 저자들은 지식이 모델의 일반화 능력과 성능을 높일 수 있음을 입증한다.

ABSTRACT

Machine Learning has been a big success story during the AI resurgence. One particular stand out success relates to unsupervised learning from a massive amount of data, albeit much of it relates to one modality/type of data at a time. In spite of early assertions of the unreasonable effectiveness of data, there is increasing recognition of utilizing knowledge whenever it is available or can be created purposefully. In this paper, we focus on discussing the indispensable role of knowledge for deeper understanding of complex text and multimodal data in situations where (i) large amounts of training data (labeled/unlabeled) are not available or labor intensive to create, (ii) the objects (particularly text) to be recognized are complex (i.e., beyond simple entity-person/location/organization names), such as implicit entities and highly subjective content, and (iii) applications need to use complementary or related data in multiple modalities/media. What brings us to the cusp of rapid progress is our ability to (a) create knowledge, varying from comprehensive or cross domain to domain or application specific, and (b) carefully exploit the knowledge to further empower or extend the applications of ML/NLP techniques. Using the early results in several diverse situations - both in data types and applications - we seek to foretell unprecedented progress in our ability for deeper understanding and exploitation of multimodal data.

연구 동기 및 목표

• 복잡한 텍스트나 다중모달 데이터에서 주관적 또는 암묵적인 콘텐츠를 이해하는 데 있어 데이터에 의존하는 모델의 한계를 해결하기 위해.
• 부족한 레이블이 있는 학습 데이터나 레이블이 없는 데이터를 보완하기 위해 도메인 특화 또는 다중 도메인 지식이 어떻게 활용될 수 있는지 탐구하기 위해.
• 지식 창출과 효과적인 활용이 실제 응용 분야에서 기존의 머신러닝 및 자연어 처리 기법을 어떻게 확장하고 강화할 수 있는지 보여주기 위해.
• 학습 프레임워크에 지식을 통합함으로써 다중모달 이해 분야에서 급속한 발전을 이끌어내기 위해.

제안 방법

• 도메인 특화 또는 다중 도메인 지식 기반 자료와 같은 다양한 출처에서 구조화된 지식을 생성하기 위해.
• 신경망과 외부 지식을 통합하여 추론 능력과 일반화 능력을 향상시키는 모델을 설계하기 위해.
• 저자원 또는 복잡한 텍스트 이해 시나리오에서 표현 학습을 향상시키기 위해 지식을 적용하기 위해.
• 일관된 프레임워크 내에서 여러 모odal(예: 텍스트, 시각, 음성) 간의 정렬과 추론을 향상시키기 위해 지식을 활용하기 위해.
• 암묵적인 실체나 주관적인 콘텐츠가 포함된 상황에서 표현 학습을 이끄는 데 지식을 활용하기 위해.
• 다양한 데이터 유형과 응용 분야에서 지식 증강 모델을 검증하여 일반화 능력과 견고성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 레이블이 희소하거나 확보하기 어려운 경우 지식은 어떻게 기계 학습 모델의 성능을 향상시킬 수 있는가?
• RQ2 단순한 명칭 엔티티를 넘어서, 지식은 어떻게 복잡하고 주관적이거나 암묵적인 콘텐츠 이해를 향상시킬 수 있는가?
• RQ3 지식은 어떻게 다중모달 학습에 효과적으로 통합되어 다중모달 간 정렬과 추론 능력을 향상시킬 수 있는가?
• RQ4 지식은 저자원 또는 복잡한 도메인에서 기존의 NLP 및 머신러닝 기법의 능력을 어떻게 확장하는가?
• RQ5 의도적으로 생성된 지식은 다양한 응용 분야에서 모델의 일반화 능력과 성능 향상에 실질적인 기여를 할 수 있는가?

주요 결과

• 지식 통합은 대규모 레이블이 없는 데이터가 존재하는 상황에서도 복잡한 텍스트와 다중모달 데이터에 대한 깊이 있는 이해를 가능하게 한다.
• 도메인 특화 또는 다중 도메인 지식의 사용은 주관적 및 암묵적인 콘텐츠 인식 작업에서 모델 성능을 크게 향상시킨다.
• 지식 증강 모델은 다양한 데이터 유형과 응용 분야에서 더 뛰어난 일반화 능력과 견고성을 보여준다.
• 의도적인 지식 창출은 기존의 머신러닝 및 자연어 처리 기법의 적용 범위와 효과를 효과적으로 확장할 수 있다.
• 다양한 응용 분야에서의 초기 결과는 지식이 복잡한 상황에서 모델이 이전까지는 달성하지 못했던 수준의 이해 능력을 확보하도록 도와주는 것으로 확인되었다.
• 지식과 기계 학습 간의 상호보완적 상호작용은 단지 데이터 중심 접근 방식을 뛰어넘어 다중모달 이해 분야에서 급속한 발전을 이끌어내는 길을 열어준다.