[논문 리뷰] Mutual exclusivity as a challenge for deep neural networks

Kanishk Gandhi, Brenden M. Lake|arXiv (Cornell University)|2019. 06. 24.

Topic Modeling참고 문헌 38인용 수 9

한 줄 요약

이 논문은 바닐라 딥 네ural 네트워크가 인간 어린이에서 흔히 관찰되는 상호 배타성(ME) 편향—신규 레이블이 익숙한 대상이 아닌 새로운 대상에 우선적으로 맵핑되는 경향—을 자연스럽게 보이는지 조사한다. 저자들은 표준 신경망이 이 편향을 보이지 않으며, 오히려 ME 반대 경향을 보여 신규 입력을 익숙한 출력에 맵핑함으로써 지속적 학습 환경에서 샘플 효율성을 떨어뜨린다는 것을 입증한다.

ABSTRACT

Strong inductive biases allow children to learn in fast and adaptable ways. Children use the mutual exclusivity (ME) bias to help disambiguate how words map to referents, assuming that if an object has one label then it does not need another. In this paper, we investigate whether or not standard neural architectures have an ME bias, demonstrating that they lack this learning assumption. Moreover, we show that their inductive biases are poorly matched to lifelong learning formulations of classification and translation. We demonstrate that there is a compelling case for designing neural networks that reason by mutual exclusivity, which remains an open challenge.

연구 동기 및 목표

• 인간 어린이의 어휘 학습 과정에서 관찰되는 상호 배타성(ME) 편향이 바닐라 딥 네럴 네트워크에서 자연스럽게 나타나는지 조사하기.
• ME 편향이 지속적 학습 시나리오—특히 물체 인식 및 기계 번역 작업에서—유익한지 평가하기.
• 표준 신경망의 인덕티브 편향과 지속적이고 데이터가 부족한 학습 환경의 구조적 요구사항 사이의 괴리 파악하기.
• 샘플 효율성과 일반화 능력을 향상시키기 위해 상호 배타성을 통해 학습할 수 있는 작업 일반화 신경망 설계의 필요성 주장하기.
• ME를 딥 러닝 시스템에 메타 전략으로 통합할 수 있는지 탐색하기—특수 작업용 또는 명시적 훈련에 의존하지 않고서도.

제안 방법

• 기존 및 신규 물체-레이블 쌍을 가진 합성 어휘 학습 작업에 피드포워드 및 순서-순서(seq2seq) 신경망 훈련하기.
• 신규 레이블(예: 'dax')을 제시하고 기존 및 신규 참조 대상에 대한 네트워크의 출력 분포를 측정함으로써 ME 행동 평가하기.
• 모델이 신규 레이블을 신규 대상보다 익숙한 대상에 맵핑하는 경향을 정량화하기 위해 ME 스코어 계산하기.
• 드롭아웃, 가중치 감쇠 등 다양한 정규화 기법을 적용하여 반대 ME 편향이 완화되는지 평가하기.
• 새로운 클래스가 점진적으로 등장하는 지속적 학습 설정에서 성능 분석하기—실세계 지속적 학습을 시뮬레이션하기 위해.
• ME를 천연적 또는 학습된 것으로 기술하는 인지 발달 이론과 비교하여 인간 학습과의 일치도 평가하기.

실험 결과

연구 질문

• RQ1 바닐라 딥 네럴 네트워크는 일회성 어휘 학습 과정에서 상호 배타성(ME) 편향을 보이는가?
• RQ2 표준 신경망 아키텍처와 훈련 제도는 새로운 클래스 할당이 요구되는 지속적 학습 시나리오에서 어떻게 성능을 내는가?
• RQ3 상호 배타성 편향은 물체 인식 및 기계 번역 작업에서 샘플 효율성을 향상시키는 데 도움이 되는가?
• RQ4 신경망을 설계하여 작업 요구에 따라 ME 편향을 자동으로 적용하거나 억제할 수 있는가?
• RQ5 신경망에서 관찰된 반대 ME 편향이 드물거나 분포 외 예측에 대한 학습에 어떤 영향을 미치는가?

주요 결과

• 바닐라 딥 네럴 네트워크는 상호 배타성(ME) 편향을 보이지 않으며, 오히려 강한 반대 ME 편향을 보이며, 신규 입력을 익숙한 출력에 우선 맵핑한다.
• 드롭아웃, 가중치 감쇠와 같은 일반 정규화 기법을 사용하더라도 신경망은 ME 편향을 개발하거나 채택하지 못하며, 이는 표준 훈련 하에서 ME 편향이 학습된 인덕티브 편향이 아님을 시사한다.
• 반대 ME 편향은 새로운 클래스가 자주 등장하는 지속적 학습 환경에서 성능을 떨어뜨리며, 모델이 끊임없이 신규 레이블을 익숙한 카테고리에 잘못 맵핑한다.
• ME 추론의 부재는 특히 소수의 샘플 또는 제로 샘플 학습에서 일반화가 어려워지는 데 기여하며, 드문 또는 알려지지 않은 클래스에 대해 모델이 어려움을 겪게 한다.
• 합성 ME 작업에 훈련된 신경망은 ME를 학습할 수 있지만, 이는 반드시 특수 설계된 경우에만 가능하며, 일반 목적 모델에는 적용되지 않는다.
• 결과는 현재 딥 러닝 모델이 실제 세계 학습의 구조적 가정과 맞지 않음을 시사하며, 새로운 자극은 반드시 새로운 참조 대상과 우선 맵핑되어야 한다.