[논문 리뷰] Lifelong Learning of Compositional Structures

Jorge A. Mendez, Eric Eaton|arXiv (Cornell University)|2020. 07. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 11

한 줄 요약

이 논문은 지식 획득을 재사용 가능한 기존 구성 요소를 활용하는 통합(assimilation)과 새로운 작업에 맞게 구성 요소를 적응시키는 적응(accommodation)으로 분리하는 생애주기 학습 프레임워크를 제안한다. 이는 안정적이고 조합적인 지식 재사용을 가능하게 한다. 실증적으로, 이 프레임워크는 치명적인 잊음 현상을 감소시키고 다양한 작업 간에 해석 가능하고 재사용 가능한 기능적 구성 요소를 학습하며, 통합 학습 기반 모델 대비 안정성과 성능 면에서 뛰어나다.

ABSTRACT

A hallmark of human intelligence is the ability to construct self-contained chunks of knowledge and adequately reuse them in novel combinations for solving different yet structurally related problems. Learning such compositional structures has been a significant challenge for artificial systems, due to the combinatorial nature of the underlying search problem. To date, research into compositional learning has largely proceeded separately from work on lifelong or continual learning. We integrate these two lines of work to present a general-purpose framework for lifelong learning of compositional structures that can be used for solving a stream of related tasks. Our framework separates the learning process into two broad stages: learning how to best combine existing components in order to assimilate a novel problem, and learning how to adapt the set of existing components to accommodate the new problem. This separation explicitly handles the trade-off between the stability required to remember how to solve earlier tasks and the flexibility required to solve new tasks, as we show empirically in an extensive evaluation.

연구 동기 및 목표

• 작업 간 재사용 가능한 조합적 지식 구조를 가진 생애주기 학습의 과제를 해결하기 위해.
• 기존 연구가 별도로 다루는 생애주기 학습과 조합적 학습을 통합하여 그 한계를 극복하기 위해.
• 두 단계 학습 과정을 통해 자율적으로 재사용 가능하고 독립적인 기능적 구성 요소를 발견할 수 있도록 하기 위해.
• 기존 지식을 유지하면서도 새로운 구조적으로 관련된 작업에 유연하게 적응할 수 있도록 하기 위해.
• 다양한 조합적 구조와 지속적 학습 기법과 호환되는 일반 목적의 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 생애주기 학습을 두 단계로 나눈다: 통합(기존 구성 요소를 조합하여 새로운 작업 해결)과 적응(새로운 작업의 통찰에 따라 구성 요소를 조정함).
• 공유된 구성 요소를 기반으로 작업별로 다른 구조를 학습하기 위해 소프트 레이어 순서를 사용하여 지식의 미분 가능한 조합을 가능하게 한다.
• 경험 재생, 탄성 가중치 통합, 미세조정 등 다양한 지속적 학습 기법과 호환되어 지식 유지를 지원한다.
• 픽셀 수준 복원 작업(예: MNIST 숫자)에서 이진 교차 엔트로피 손실을 사용해 구성 요소를 종합적으로 학습한다.
• 깊이에 따라 구성 요소의 강도를 다양하게 시각화하여 학습된 기능적 원천을 해석하고, 조합적 경험 재생과 통합 경험 재생 기반 모델을 비교한다.
• 프레임워크는 조합적 구조와 지식 유지 방법의 아홉 가지 조합으로 구현되었으며, 여덟 개의 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 생애주기 학습 시스템은 관련된 작업의 스트림 속에서 자율적으로 재사용 가능한 조합적 지식 구조를 발견하고 재사용할 수 있는가?
• RQ2 통합과 적응을 분리함으로써 지속적 학습에서 안정성과 성능이 어떻게 향상되는가?
• RQ3 제안된 프레임워크 하에서 학습된 구성 요소는 해석 가능하고 재사용 가능한 기능적 원천에 해당하는가?
• RQ4 치명적인 잊음 현상을 줄이는 데 있어 프레임워크는 통합 학습 기반 모델에 비해 어떻게 비교되는가?
• RQ5 학습된 구성 요소가 다양한 작업과 네트워크 깊이에서 일관되고 의미 있는 영향을 보이는 정도는 어느 정도인가?

주요 결과

• 조합적 프레임워크는 여덟 개의 데이터셋에서 통합 학습 기반 모델 대비 전체 성능 면에서 뛰어나고 치명적인 잊음 현상을 감소시켰다.
• 조합적 접근을 통해 학습된 구성 요소는 작업과 네트워크 깊이에 걸쳐 일관되고 해석 가능한 영향(예: 숫자의 부드럽게 만들기, 기울이기 등)을 보였다.
• 반면, 통합 경험 재생 기반 모델의 구성 요소는 일관된 행동을 보이지 않았으며, 깊이에 따라 다르게 작용하고 작업에 따라 달라지는 효과를 보였다.
• 시각화 결과 조합적 경험 재생 구성 요소가 재사용 가능한 기능적 원천으로 작동하며, 강도 변화가 숫자 이미지에 예측 가능하고 의미 있는 변형을 유도하는 것으로 확인되었다.
• 프레임워크는 자율적으로 재사용 가능한 독립된 구성 요소를 학습하여 새로운 작업을 해결하기 위해 새로운 방식으로 조합할 수 있었다.
• 두 단계 과정은 실증적 평가로 검증된 바와 같이, 기존 지식 유지(안정성)와 새로운 작업에 대한 적응 가능성(융통성)을 효과적으로 균형 잡았다.