[논문 리뷰] Adapting Auxiliary Losses Using Gradient Similarity

Yunshu Du, Wojciech Marian Czarnecki외 4명|arXiv (Cornell University)|2018. 12. 05.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 95

한 줄 요약

이 논문은 주된 작업의 수렴을 보장하고 감독 학습 및 강화 학습 설정 간의 부정 전이를 차단하기 위해 보조 손실 사용 여부를 결정하는 그라디언트 코사인 유사도 휴리스트를 제안합니다.

ABSTRACT

One approach to deal with the statistical inefficiency of neural networks is to rely on auxiliary losses that help to build useful representations. However, it is not always trivial to know if an auxiliary task will be helpful for the main task and when it could start hurting. We propose to use the cosine similarity between gradients of tasks as an adaptive weight to detect when an auxiliary loss is helpful to the main loss. We show that our approach is guaranteed to converge to critical points of the main task and demonstrate the practical usefulness of the proposed algorithm in a few domains: multi-task supervised learning on subsets of ImageNet, reinforcement learning on gridworld, and reinforcement learning on Atari games.

연구 동기 및 목표

• 주된 작업에 대한 부정적 전이를 피하면서 데이터 효율성을 높이기 위해 보조 손실 활용의 필요성을 제시한다.
• 학습 중 보조 손실의 가중치를 동적으로 부여하기 위한 경량의 그라디언트 기반 휴리스트를 도입한다.
• 제안된 업데이트 규칙 아래에서 주된 작업의 수렴을 이론적으로 보장한다.
• 감독 학습과 강화 학습 영역에서 이 방법을 경험적으로 검증한다.
• 그라디언트 유사도를 작업 관련성의 척도로 사용하는 것의 함의와 한계를 논의한다.

제안 방법

• 주된 작업 네트워크와 보조 작업 네트워크를 가진 공유 매개변수 아키텍처를 정의한다.
• 그라디언트의 코사인 유사도가 비음수일 때만 보조 그라디언트를 주된 그라디언트에 더하는 그라디언트 기반 업데이트 규칙을 제안한다(또는 이진 변형을 사용한다).
• 작은 학습률에서 주 손실의 국부 최저점으로의 수렴을 보인다(제안 1 및 2).
• 이 방법이 부정적 전이를 차단하고 실제로 양의 전이를 가능하게 할 수 있음을 보인다(Algorithm 1 및 Algorithm 2 변형).
• 다음 도메인에 걸쳐 적응성을 입증하기 위해 ImageNet의 이진 분류 및 회전된 MNIST, RL 그리드월드 및 Atari에 이 방법을 적용한다.
• 결과 벡터 필드가 보존적일 필요는 없음을 논의하고 실제 훈련상의 시사점을 강조한다.

실험 결과

연구 질문

• RQ1 그라디언트 코사인 유사도가 보조 작업이 학습 중 주 작업에 도움이 되는지 해로운지 신뢰성 있게 나타낼 수 있는가?
• RQ2 그라디언트 유사도에 따라 보조 가중치를 적응시키는 것이 주 작업의 임계점으로의 수렴을 보장하는가?
• RQ3 작업 관련성이 변화하는 감독 학습과 강화 학습 설정에서 제안된 휴리스트가 어떻게 작동하는가?
• RQ4 도메인 간 전이 척도로 그라디언트 유사도를 사용하는 것의 실용적 시사점과 잠재적 한계는 무엇인가?

주요 결과

• 그라디언트 코사인 유사도는 관련 보조 작업과 관련 없는 보조 작업을 구분하며, ImageNet 실험에서 근접한 쌍일수록 더 높고 먼 쌍일수록 더 낮다.
• 제안된 cos-가중 방법은 초기 학습 속도를 높이고 보조가 무용해질 때(근접한 클래스 쌍)에는 단일 작업 성능과 일치시킬 수 있다.
• 코사인 유사도가 음수일 때 보조를 비활성화하여 부정적 전이를 차단하고 주 작업 성능을 회복시킬 수 있다(멀리 있는 클래스 쌍).
• 회전된 MNIST에서 이 방법은 단일 작업 성능을 개선하거나 비슷하게 만들고 높은 회전에서 보조의 부정적 간섭을 줄인다.
• RL 그리드월드와 Atari에서 코사인 가중 증류는 보조 신호를 적응시켜 학습 속도와 최종 성능을 개선하고 주 작업 기술의 망각을 방지한다.
• 제안된 업데이트 규칙 하에서 보조 벡터 필드가 보존적이지 않더라도 주 작업에 대한 수렴 보장이 제시된다.