[논문 리뷰] Concept-Oriented Deep Learning

Daniel T. Chang|arXiv (Cornell University)|2018. 06. 05.

Topic Modeling참고 문헌 10인용 수 6

한 줄 요약

이 논문은 해석 가능성, 이식 가능성, 데이터 효율성을 향상시키기 위해 명시적 개념 표현, 개념 그래프, 개념적 이해를 통합한 개념 중심 딥러닝(CODL) 프레임워크를 소개한다. 개념 예시와 점진적 학습을 통합함으로써 CODL은 기계가 인간과 유사한 개념으로 학습하고 추론할 수 있도록 하여 대규모 레이블링된 데이터셋에 대한 의존도를 줄이고, 맥락 적응 및 계속 학습을 지원한다.

ABSTRACT

Concepts are the foundation of human deep learning, understanding, and knowledge integration and transfer. We propose concept-oriented deep learning (CODL) which extends (machine) deep learning with concept representations and conceptual understanding capability. CODL addresses some of the major limitations of deep learning: interpretability, transferability, contextual adaptation, and requirement for lots of labeled training data. We discuss the major aspects of CODL including concept graph, concept representations, concept exemplars, and concept representation learning systems supporting incremental and continual learning.

연구 동기 및 목표

• 딥러닝의 핵심적 한계인 낮은 해석 가능성, 제한된 이식 가능성, 높은 데이터 요구량을 해결하기 위해.
• 기계가 인간이 이해할 수 있는 개념으로 학습하고 추론할 수 있도록 하여 인간의 인지 과정을 모방하기 위해.
• 동적 개념 표현과 점진적 학습 메커니즘을 통해 맥락 적응과 계속 학습을 지원하기 위해.
• 개념 수준의 이해와 예시를 활용하여 대규모 레이블링된 데이터셋에 대한 의존도를 줄이기 위해.
• 딥러닝 아키텍처에 개념 그래프와 개념적 표현을 통합하여 지식 이행과 추론 능력을 향상시키기 위해.

제안 방법

• CODL은 개념과 그 관계를 조직화하는 개념 그래프 구조를 도입하여 체계적인 지식 표현을 가능하게 한다.
• 개념 간 의미적 의미와 관계를 포괄하는 분산 임베딩을 사용한 개념 표현을 적용한다.
• 개념 예시를 통해 추상적 개념을 구체적 예시에 기반하게 하여 해석 가능성과 맥락 적응 능력을 향상시킨다.
• 대표성 학습 시스템을 통해 개념 임베딩을 시간에 따라 업데이트함으로써 점진적 및 계속 학습을 지원한다.
• 딥신경망에 개념 수준의 추론을 통합하여 엔드 투 엔드 학습과 개념을 활용한 상징적 추론을 모두 가능하게 한다.
• 다양한 도메인 간 공유된 개념 표현을 재사용하고 개선함으로써 작업 간 전이 학습을 지원한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 어떻게 명시적 개념 표현을 통해 해석 가능성과 인간과 유사한 추론 능력을 향상시킬 수 있는가?
• RQ2 개념 중심 학습은 얼마나 많은 레이블링된 데이터셋이 필요한가를 줄일 수 있는가?
• RQ3 개념 그래프와 예시는 기계 학습 시스템에서 더 나은 이식 가능성과 맥락 적응 능력을 가능하게 할 수 있는가?
• RQ4 개념 기반 딥러닝 프레임워크 내에서 계속 학습과 점진적 학습을 효과적으로 지원할 수 있는가?
• RQ5 신경망 아키텍처에 상징적 개념 표현을 통합할 경우 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• CODL은 명시적 개념 정의를 통해 내부 표현을 의미적으로 유의미하게 만들음으로써 모델의 해석 가능성을 크게 향상시킨다.
• 공유된 개념 표현을 재사용하고 개선함으로써 작업 간 효과적인 전이 학습을 가능하게 한다.
• 개념 예시를 통합함으로써 맥락 적응 능력이 향상되어 최소한의 재학습으로 새로운 환경에 적응할 수 있도록 한다.
• 점진적 학습 메커니즘은 기존 지식을 잃지 않고 새로운 개념을 학습할 수 있도록 하여 수명 주기 학습을 지원한다.
• 개념 수준의 지도와 소수의 예시 학습을 활용함으로써 대규모 레이블링된 데이터셋에 대한 의존도를 줄인다.
• 개념 그래프의 통합은 제로샷 및 소수 샘플 학습 시나리오에서 체계적 추론과 향상된 일반화 능력을 가능하게 한다.