[논문 리뷰] ORACLE: Order Robust Adaptive Continual LEarning.

Jaehong Yoon, Saehoon Kim외 2명|arXiv (Cornell University)|2019. 02. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 10

한 줄 요약

ORACLE는 모델 파라미터를 작업 공유 및 작업 적응형 구성요소로 분해하는 새로운 지속적 학습 방법을 제안한다. 후자는 용량 증가를 최소화하기 위해 희소 저질서 행렬로 인수분해된다. 이 설계는 치명적 기억상실을 감소시키며, 다양한 작업 순서에서 성능 변동성을 크게 줄이며, 계산 비용이 낮고 실제 의료 진단과 같은 응용 분야에서 공정성을 향상시켜 최신 기술을 능가한다.

ABSTRACT

The order of the tasks a continual learning model encounters may have large impact on the performance of each task, as well as the task-average performance. This order-sensitivity may cause serious problems in real-world scenarios where fairness plays a critical role (e.g. medical diagnosis). To tackle this problem, we propose a novel order-robust continual learning method, which instead of learning a completely shared set of weights, represent the parameters for each task as a sum of task-shared parameters that captures generic representations and task-adaptive parameters capturing task-specific ones, where the latter is factorized into sparse low-rank matrices in order to minimize capacity increase. With such parameter decomposition, when training for a new task, the task-adaptive parameters for earlier tasks remain mostly unaffected, where we update them only to reflect the changes made to the task-shared parameters. This prevents catastrophic forgetting for old tasks and at the same time make the model less sensitive to the task arrival order. We validate our Order-Robust Adaptive Continual LEarning (ORACLE) method on multiple benchmark datasets against state-of-the-art continual learning methods, and the results show that it largely outperforms those strong baselines with significantly less increase in capacity and training time, as well as obtains smaller performance disparity for each task with different order sequences.

연구 동기 및 목표

• 작업 순서가 모델 성능과 공정성에 크게 영향을 미치는 지속적 학습의 주요 문제인 순서 민감성 문제를 해결한다.
• 파라미터 공유에 의존하지 않고도 지속적 학습에서 치명적 기억상실을 완화한다.
• 모든 작업에서 높은 성능을 유지하면서도 용량과 학습 시간 증가를 최소화한다.
• 특히 의료 진단과 같은 고위험 도메인에서 중요한 작업 도착 순서에 대한 강인성을 확보한다.
• 새로운 작업 학습 시 대부분 변화하지 않는 작업 적응형 구성요소를 유지할 수 있는 파라미터화 전략을 개발한다.

제안 방법

• 모델 파라미터를 일반적인 표현을 캡처하는 작업 공유 구성요소와 작업별 특징을 위한 작업 적응형 구성요소로 분해한다.
• 작업 적응형 파라미터를 희소 저질서 행렬로 인수분해하여 지속적 학습 중 용량 증가를 제한한다.
• 새로운 작업 학습 시에는 작업 공유 파라미터만 업데이트하고 이전 작업의 작업 적응형 파라미터는 대부분 고정한다.
• 공유 파라미터의 변화로 인해 영향을 받는 경우에만 작업 적응형 파라미터에 기울기 업데이트를 적용함으로써 간섭을 줄인다.
• 작업별 적응 학습과 공유 표현 학습을 분리할 수 있는 파라미터화 전략을 사용한다.
• 기본적인 지속적 학습 목표를 기반으로 종단 간 학습을 수행하며, 분해를 활용해 순서 간 학습 안정성을 높인다.

실험 결과

연구 질문

• RQ1 기존 지속적 학습 방법과 비교해 ORACLE는 다양한 작업 순서에서 성능 변동성을 얼마나 줄이는가?
• RQ2 공유 및 희소 저질서 행렬로 구성된 적응형 구성요소로 파라미터 분해가 기억상실과 용량 증가에 어떤 영향을 미치는가?
• RQ3 작업이 어떤 순서로 제시되든 ORACLE는 모든 작업에서 높은 성능을 유지할 수 있는가?
• RQ4 학습 시간과 모델 용량 증가 측면에서 ORACLE는 최신 기술 대비 어떻게 비교되는가?
• RQ5 제안된 방법은 작업 순서가 예측 불가능하거나 비최적일 경우 공정성 향상에 기여하는가?

주요 결과

• ORACLE는 다양한 벤치마크 데이터셋에서 평균 작업 정확도 측면에서 최신 기술 지속적 학습 방법을 크게 능가한다.
• 다양한 작업 순서 시퀀스 간 성능 격차가 상당히 낮아 순서 강인성이 뛰어나다는 것을 보여준다.
• 강력한 기준 모델 대비 모델 용량과 학습 시간 증가가 훨씬 적다.
• 새로운 작업 학습 시 작업 적응형 파라미터가 대부분 영향을 받지 않아 이전 작업의 지식 유지에 기여한다.
• 희소 저질서 인수분해를 활용함으로써 파라미터 증가를 효과적으로 통제하면서도 높은 모델 표현력을 유지한다.
• 특히 비최적 또는 악성 순서로 작업이 제시될 경우 치명적 기억상실이 감소하는 것으로 나타났다.