[논문 리뷰] Flexible Multi-task Networks by Learning Parameter Allocation

Krzysztof Maziarz, Efi Kokiopoulou외 4명|arXiv (Cornell University)|2019. 10. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 8

한 줄 요약

이 논문은 Gumbel-Softmax 재구성 기법을 사용하여 미분 가능한 이진 할당 변수를 통해 세밀한 파라미터 공유 패턴을 학습하는 유연한 다중 작업 학습 프레임워크를 제안한다. 작업별 구성 요소 할당과 모델 파라미터를 함께 최적화함으로써, 작업 간 유사도에 따라 동적으로 공유를 조정함으로써 기존 최상위 성능 대비 Omniglot에서 17%의 상대적 오차 감소를 달성한다.

ABSTRACT

This paper proposes a novel learning method for multi-task applications. Multi-task neural networks can learn to transfer knowledge across different tasks by using parameter sharing. However, sharing parameters between unrelated tasks can hurt performance. To address this issue, we propose a framework to learn fine-grained patterns of parameter sharing. Assuming that the network is composed of several components across layers, our framework uses learned binary variables to allocate components to tasks in order to encourage more parameter sharing between related tasks, and discourage parameter sharing otherwise. The binary allocation variables are learned jointly with the model parameters by standard back-propagation thanks to the Gumbel-Softmax reparametrization method. When applied to the Omniglot benchmark, the proposed method achieves a 17% relative reduction of the error rate compared to state-of-the-art.

연구 동기 및 목표

• 작업 간 유사성이 없을 경우 공유 파라미터가 개별 작업 성능을 떨어뜨리는 부정적 전이 현상을 방지하기 위해.
• 고정되거나 수작업으로 설계된 공유 패턴에 의존하지 않고, 작업 간 유사성에 따라 자동으로 적응하는 파라미터 공유를 가능하게 하기 위해.
• 네트워크 구성 요소를 통해 이진 할당 패턴을 집계하여 희박하고 해석 가능한 작업 임베딩을 학습하기 위해.
• 표준 백프로파게이션을 사용하여 모델 파라미터와 할당 결정을 동시에 최적화함으로써, 비용이 많이 드는 검색이나 히ュ리스틱 튜닝을 피하기 위해.

제안 방법

• 각 네트워크 레이어를 재사용 가능한 구성 요소(예: 컨볼루션 필터)의 집합으로 모델링하며, 각 구성 요소는 학습 가능한 이진 할당 변수를 통해 작업에 할당된다.
• 이진 할당 변수는 Gumbel-Softmax 재구성 기법을 통해 미분 가능해지며, 표준 백프로파게이션을 사용한 엔드 투 엔드 학습이 가능해진다.
• 온도 조절 기반의 예산 제약 조건을 사용하여 구성 요소 할당의 희박성을 촉진함으로써 효율적이고 해석 가능한 공유를 장려한다.
• 할당된 구성 요소의 출력에 작업별 헤드를 부착함으로써, 각 작업이 네트워크의 고유한 구성 요소 부분집합을 사용할 수 있도록 한다.
• 할당 로짓은 모델 가중치와 함께 최적화되며, 작업별 손실과 희박성 정규화를 균형 잡는 목적 함수를 사용한다.
• 학습 후, 각 작업별로 이진 할당 벡터를 추출하여 작업 간 유사성을 반영하는 희박한 임베딩을 형성한다.

실험 결과

연구 질문

• RQ1 신경망이 작업 간 유사성에 따라 구성 요소를 동적으로 할당할 수 있는가? 이는 고정된 공유 패턴보다 성능 향상을 이끌 수 있는가?
• RQ2 제안된 방법이 작업 간 유사성이 없을 경우 다중 작업 학습에서 부정적 전이를 완화하는가?
• RQ3 학습된 이진 할당 패턴이 임의의 작업 유사성에 기반한 의미 있고 해석 가능한 작업 임베딩을 형성할 수 있는가?
• RQ4 다양한 수준의 작업 유사성으로 구성된 벤치마크에서, 이 방법은 강력한 기준 모델 및 최상위 성능 기법과 비교해 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 작업 조합에 대한 정보 없이도 다중 작업 데이터셋의 숨겨진 구조(예: 관련 작업의 클러스터링)를 발견하는 데 사용될 수 있는가?

주요 결과

• Omniglot 벤치마크에서 제안된 방법은 최상위 성능 대비 17%의 상대적 오차 감소를 달성하여 뛰어난 일반화 성능을 입증하였다.
• 합성 실험에서는 관련이 없는 작업(ρ=0)에서 부정적 전이를 성공적으로 피함으로써, '공유 베이스' 및 '공유 없음' 패턴보다 우수한 성능을 보였다.
• 학습된 이진 할당 벡터는 희박하고 해석 가능한 임베딩을 형성하며, 알려진 작업 클러스터를 반영한다: 모든 MNIST 작업은 동일한 임베딩을 받으며, 패션-MNIST 작업 역시 유사하게 그룹화된다.
• 작업 임베딩 간 코사인 유사도는 세 개의 클러스터(CIFAR, MNIST, 패션-MNIST)를 명확히 분리하며, MNIST와 패션-MNIST 간의 유사도가 CIFAR와 비교해 더 높다.
• CIFAR-100 클러스터 내부에서는 다양한 할당 패턴을 학습함으로써 내부 다양성을 반영하는 것으로 나타났으며, 다른 클러스터와의 명확한 분리도 유지된다.
• 이 프레임워크는 학습 시 작업 조합 정보 없이도, 작업 ID만을 사용하여 작업 구조를 탐지할 수 있다.