[논문 리뷰] Branched Multi-Task Networks: Deciding What Layers To Share

Simon Vandenhende, Georgoulis, Stamatios외 2명|arXiv (Cornell University)|2019. 04. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 8

한 줄 요약

이 논문은 표현 유사도 분석(RSA)을 통해 작업 유사도를 학습함으로써 분기형 다중 작업 신경망을 자동으로 설계하는 방법을 제안한다. 이는 최적의 레이어 공유 결정을 가능하게 하며, 주어진 파라미터 예산 하에서 기준 모델들보다 높은 성능을 달성하고, 공유 레이어에 대해 작업별 깊이를 동적으로 할당하여 더 적은 파라미터로 목표 정확도를 달성한다.

ABSTRACT

In the context of multi-task learning, neural networks with branched architectures have often been employed to jointly tackle the tasks at hand. Such ramified networks typically start with a number of shared layers, after which different tasks branch out into their own sequence of layers. Understandably, as the number of possible network configurations is combinatorially large, deciding what layers to share and where to branch out becomes cumbersome. Prior works have either relied on ad hoc methods to determine the level of layer sharing, which is suboptimal, or utilized neural architecture search techniques to establish the network design, which is considerably expensive. In this paper, we go beyond these limitations and propose an approach to automatically construct branched multi-task networks, by leveraging the employed tasks' affinities. Given a specific budget, i.e. number of learnable parameters, the proposed approach generates architectures, in which shallow layers are task-agnostic, whereas deeper ones gradually grow more task-specific. Extensive experimental analysis across numerous, diverse multi-tasking datasets shows that, for a given budget, our method consistently yields networks with the highest performance, while for a certain performance threshold it requires the least amount of learnable parameters.

연구 동기 및 목표

• 분기형 다중 작업 네트워크에서 어떤 레이어를 공유할지 수작업으로 선택하는 문제에 대응하기 위해, 이는 오류를 유발하고 최적화되지 않은 방식이다.
• 사전 설정된 또는 비용이 많이 드는 신경망 아키텍처 탐색을 피하기 위해 아키텍처 설계 과정을 자동화한다.
• 측정 가능한 작업 간 관련성에 기반해 작업별 깊이를 동적으로 결정하여 모델의 효율성과 성능을 향상시킨다.
• 표현 유사도에 따라 이른 레이어에서 관련된 작업들만 공유하도록 안내함으로써 부정적 전이를 줄인다.

제안 방법

• 이 방법은 다양한 네트워크 깊이에서 서로 다른 작업의 특징 표현 간 상관관계를 측정함으로써 작업 유사도 점수를 계산한다. 이는 표현 유사도 분석(RSA)을 사용한다.
• RSA는 백본 네트워크의 여러 레이어에 적용되며, 검증용 이미지 세트의 특징을 사용해 RDM(표현 이질성 행렬) 행렬을 계산한다.
• 작업 유사도는 각 깊이에서 RDM 행렬 간 평균 상관계수로 정량화되며, 이는 서로 다른 작업의 표현 간 유사도를 나타낸다.
• 이러한 유사도 점수를 바탕으로, 얕은 레이어는 모든 작업 간에 공유되고, 더 깊은 레이어는 점차적으로 작업 그룹별로 특화된 분기형 아키텍처를 구성한다.
• 고정된 파라미터 예산 하에서 아키텍처가 최적화되어 잠재적 중복을 최소화하고 성능을 극대화한다.
• 최종 네트워크는 표준 최적화 방법을 사용해 엔드 투 엔드로 훈련되며, 단일 작업 모델과 동일한 초모델 하이퍼파rameter를 사용한다.

실험 결과

연구 질문

• RQ1 다양한 작업 간에 분기형 다중 작업 네트워크에서 어떤 레이어를 공유할지 자동으로 결정할 수 있는가?
• RQ2 표현 유사도를 통해 측정한 작업 유사도가 고정 또는 사전 설정된 분기 전략에 비해 다중 작업 네트워크의 성능을 향상시킬 수 있는가?
• RQ3 기존의 다중 작업 학습 기준 모델들과 비교해, 고정된 파라미터 예산 하에서 제안된 방법이 더 높은 정확도를 달성할 수 있는가?
• RQ4 목표 성능 기준에 도달하기 위해 필요한 파라미터 수를 줄일 수 있는가?

주요 결과

• 주어진 파라미터 예산 하에서, 제안된 방법은 고정 분기 또는 사전 설정된 공유 전략을 사용한 기준 다중 작업 네트워크보다 일관되게 높은 성능을 달성한다.
• 성능 기준에 제약을 받을 경우, 기존의 접근 방식보다 유의미하게 적은 학습 가능한 파라미터를 필요로 하여 파라미터 효율성이 향상됨을 입증한다.
• 표현 유사도에 기반해 최적의 작업 그룹을 식별함으로써, 관련이 없는 작업 간의 공유를 방지함으로써 부정적 전이를 줄인다.
• 계산 비용은 단일 작업 모델 훈련에 의해 주로 차지하며, 추가 비용은 최소이므로 신경망 아키텍처 탐색보다 효율적이며, 소프트 파라미터 공유 방법과 유사한 성능을 보인다.
• Taskonomy 데이터셋에서, 제안된 방법은 표준 다중 작업 네트워크와 Cross-Stitch 네트워크를 모두 초월하는 정확도와 효율성을 보이는 아키텍처를 생성한다.
• 정성적 결과는 깊은 레이어에서 네트워크가 의미 있는 작업별 표현을 학습하고 있으며, 다양한 시각 인식 작업 간의 일반화 능력이 향상됨을 보여준다.