[논문 리뷰] Attend, Adapt and Transfer: Attentive Deep Architecture for Adaptive Transfer from multiple sources in the same domain

Janarthanan Rajendran, Aravind Srinivas외 3명|arXiv (Cornell University)|2015. 10. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 5

한 줄 요약

이 논문은 A2T(A2T: Attend, Adapt and Transfer)를 제안하며, 동일 도메인 내 여러 소스 태스크로부터 선택적이고 적응형 전이를 가능하게 하는 딥 네ural 네트워크 아키텍처를 개발한다. 이는 소스 네트워크와 베이스 네트워크의 기여도를 동적으로 가중치를 부여하는 어텐션 메커니즘을 사용하여 부정적 전이를 방지한다. 이 방법은 다양한 강화학습 태스크에서 학습 효율성과 성능을 향상시키며, 서로 다른 상태공간 영역에 대해 가장 관련성이 높은 소스 정책나 가치 함수를 주시함으로써, 초기 학습 및 기준 전이 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Transferring knowledge from prior source tasks in solving a new target task can be useful in several learning applications. The application of transfer poses two serious challenges which have not been adequately addressed. First, the agent should be able to avoid negative transfer, which happens when the transfer hampers or slows down the learning instead of helping it. Second, the agent should be able to selectively transfer, which is the ability to select and transfer from different and multiple source tasks for different parts of the state space of the target task. We propose A2T (Attend, Adapt and Transfer), an attentive deep architecture which adapts and transfers from these source tasks. Our model is generic enough to effect transfer of either policies or value functions. Empirical evaluations on different learning algorithms show that A2T is an effective architecture for transfer by being able to avoid negative transfer while transferring selectively from multiple source tasks in the same domain.

연구 동기 및 목표

• 전이 학습에서 발생하는 부정적 전이 문제를 해결하기 위해, 소스 태스크로부터의 사전 지식이 타겟 태스크 학습을 방해하는 것을 방지하기 위함.
• 에이전트가 타겟 태스크의 상태 공간에 따라 다른 소스 태스크를 서로 다른 부분에 사용할 수 있도록 선택적 전이를 가능하게 하기 위함.
• 정책과 가치 함수 모두를 전이할 수 있는 일반적인 딥 아키텍처를 설계하기 위함.
• 모든 소스 태스크에 존재하지 않는 새로운 스킬을 베이스 네트워크가 학습할 수 있도록 하여, 소스 지식이 관련 없거나 열악한 경우에도 강건성을 확보하기 위함.
• 어텐션을 통한 미분 가능하고 소프트한 메타컨트롤러를 개발하여 소스 태스크 기여도에 대한 연속적이고 적응적인 의사결정을 가능하게 하기 위함.

제안 방법

• A2T 프레임워크는 타겟 태스크에서 처음부터 학습된 베이스 네트워크와 관련 태스크에서 사전 학습된 여러 소스 태스크 네트워크를 조합한다.
• 어텐션 네트워크는 각 소스 네트워크와 베이스 네트워크에 대해 상태에 따라 동적으로 변화하는 가중치를 계산하여, 각 상태에서 어떤 지식을 사용할지 결정한다.
• 최종 출력은 소스 네트워크 예측값과 베이스 네트워크 출력값의 가중치 조합이며, 가중치는 역전파를 통해 종합적으로 학습된다.
• 어텐션 메커니즘은 소스 네트워크에 대한 소프트 게이팅을 가능하게 하여, 에이전트가 서로 다른 상태 영역에 대해 가장 관련성이 높은 전문가를 선택적으로 주시할 수 있도록 한다.
• 프레임워크는 표준 강화학습 목표를 사용하여 학습되며, 어텐션 네트워크는 타겟 태스크의 수익을 최소화하도록 함께 최적화된다.
• 이 프레임워크는 정책 전이와 가치 함수 전이 모두를 지원하며, 공유되는 상태공간과 행동공간을 가진 태스크에 적용 가능하다.

실험 결과

연구 질문

• RQ1 다양한 소스 태스크들 중에서 동적으로 적응적으로 선택하여 타겟 태스크의 학습을 향상시키면서도, 부정적 전이를 방지할 수 있는 딥 아키텍처가 존재하는가?
• RQ2 고정 평균화나 단일 전문가 전이와 비교했을 때, 어텐션 메커니즘이 전이 성능을 어떻게 향상시키는가?
• RQ3 베이스 네트워크는 소스 네트워크에 존재하지 않는 새로운 스킬을 학습할 수 있는가? 특히 소스 지식이 관련 없거나 열악한 경우에도 마찬가지인가?
• RQ4 A2T는 연속 제어 및 게임 환경에서 초기 학습 및 기준 전이 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 어텐션 메커니즘은 계층적 및 지속적 강화학습 설정에서 사용할 수 있는, 미분 가능하고 소프트한 메타컨트롤러로 기능할 수 있는가?

주요 결과

• Pong 환경에서 A2T는 초기 학습 및 단일 전문가 전이보다 빠른 수렴 속도와 더 높은 평균 보상을 달성한다.
• 부분 전문가(평균 점수 8/21)와 부정적 전문가가 존재하는 상황에서도 A2T는 초기 학습 및 단일 부정적 전문가 전이보다 성능이 뛰어나다.
• 소스 지식이 해로운 경우, 베이스 네트워크에 의존함으로써 소스 네트워크에 존재하지 않는 새로운 스킬(테니스에서의 드롭 샷 등)을 성공적으로 탐지하고 학습한다.
• 어텐션 메커니즘이 서로 다른 상태 영역에 대해 가장 관련성이 높은 소스 네트워크를 효과적으로 주시함으로써, 수동 조작 없이도 선택적 전이를 가능하게 한다.
• 실증 결과에 따르면, 소스 태스크가 완벽하지 않거나 부분적으로 관련이 없더라도 A2T는 성능을 유지하며, 부정적 전이에 대한 강건성을 입증한다.
• 어 attention 네트워크는 계층적 및 지속적 학습 설정에서 사용할 수 있는, 미분 가능하고 소프트한 메타컨트롤러를 제공하며, 전이 학습의 적용 범위를 넓힌다.