[논문 리뷰] Strategies for Conceptual Change in Convolutional Neural Networks

Maarten Grachten, Carlos Cancino-Chacón|arXiv (Cornell University)|2017. 11. 05.

Reinforcement Learning in Robotics참고 문헌 43인용 수 6

한 줄 요약

이 논문은 새로운 작업과 도메인으로 전이할 때 사전 훈련된 합성곱 신경망(CNN) 특징을 적응시키기 위한 다양한 전략을 평가하며, 특히 소스 작업에서 학습된 필터를 선택적으로 재사용하는 것이 무작위 초기화보다 훨씬 빠른 학습을 가능하게 함을 보여준다. 주요 발견은 초기 합성곱 레이어의 필터를 유지하면서 깊이 있는 레이어를 재학습하는 것이 수기 숫자, 자연 이미지, 음악 데이터 전반에서 수렴 속도를 빠르게 한다는 것이다.

ABSTRACT

A remarkable feature of human beings is their capacity for creative behaviour, referring to their ability to react to problems in ways that are novel, surprising, and useful. Transformational creativity is a form of creativity where the creative behaviour is induced by a transformation of the actor's conceptual space, that is, the representational system with which the actor interprets its environment. In this report, we focus on ways of adapting systems of learned representations as they switch from performing one task to performing another. We describe an experimental comparison of multiple strategies for adaptation of learned features, and evaluate how effectively each of these strategies realizes the adaptation, in terms of the amount of training, and in terms of their ability to cope with restricted availability of training data. We show, among other things, that across handwritten digits, natural images, and classical music, adaptive strategies are systematically more effective than a baseline method that starts learning from scratch.

연구 동기 및 목표

• 한 작업/도메인에서 다른 작업/도메인으로 전이할 때 CNN의 학습된 표현을 효과적으로 적응시키는 전략을 조사하기 위해.
• 훈련 속도와 데이터 효율성 측면에서 랜덤 초기화 기반 기준 대비 적응 전략을 비교하기 위해.
• 수기 숫자, 자연 이미지, 고전 음악 등 다양한 도메인에서 다양한 적응 방법의 성능을 평가하기 위해.
• 소스 작업 유형(분류 대비 오토인코딩)이 적응 효과성에 미치는 영향을 평가하기 위해.
• 동적 학습 시나리오에서 이전 정규화 또는 선택적 피니팅이 더 뛰어난 성능을 내는지 확인하기 위해.

제안 방법

• 다섯 가지 적응 전략을 제안하고 평가한다: (1) 랜덤 초기화(RESET), (2) 첫 번째 합성곱 레이어 필터만 유지(RESET-FILTERS), (3) 필터에 대한 이전 정규화(RESET PRF), (4) 전체 모델 재사용(RESET-FULL), (5) 초기 레이어를 고정한 피니팅.
• CNN을 소스 작업(예: 분류 또는 오토인코딩)에서 사전 훈련한 후 목표 작업으로 적응시키는 다중 작업 학습 프레임워크를 사용한다.
• 소스 도메인에서 계층적 표현을 학습하기 위해 합성곱 오토인코더를 적용하며, 전이를 위해 저수준 특징을 유지한다.
• 소스 작업에서 학습된 필터를 기반으로 목표 네트워크의 초기 합성곱 필터를 편향시키는 방식으로 이전 정규화를 구현한다.
• 확률적 경사 하강법, 배치 정규화, ReLU 활성화 함수를 사용한 표준 훈련 프rotocol를 적용하며, 하이퍼파ram터는 초기 단계에서 튜닝한다.
• 목표 테스트 세트에서 분류 정확도, 다중 분류 교차 엔트로피 손실, 평균 제곱 오차(오토인코딩 손실)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 적응 전략이 랜덤 초기화 대비 수렴 속도와 데이터 효율성 측면에서 어떻게 비교되는가?
• RQ2 소스 작업 유형(분류 대비 오토인코딩)이 전이 학습 전략의 효과성에 영향을 미치는가?
• RQ3 전이 시나리오에서 필터에 대한 이전 정규화가 표준 정규화보다 더 효과적인가?
• RQ4 초기 레이어 필터의 선택적 재사용이 전체 피니팅 또는 랜덤 초기화보다 더 빠른 적응을 이끌 수 있는가?
• RQ5 적응 전략은 점점 더 높은 성능 수준에 도달하는가, 그리고 다양한 데이터 도메인에서 수렴 성능가 비슷한가?

주요 결과

• 모든 데이터 세트에서 적응 전략은 수렴 속도와 데이터 효율성 측면에서 랜덤 초기화를 일관되게 능가하며, 고정확도에 빠르게 수렴한다.
• 소스 작업에서 첫 번째 합성곱 레이어 필터를 유지하는 전략(RESET-FILTERS)이 가장 일관된 성과를 보이며, 특히 소스 작업이 분류일 경우 더욱 두드러진다.
• 전체 모델 재사용 전략(RESET-FULL)은 다른 방법의 점진적 성능에 비해 높은 초반 성능를 달성하지만, 시간이 지남에 따라 향상 폭이 제한적이다.
• 이전 정규화(RESET PRF)는 기준 대비 중간 수준의 일관성 없는 향상을 제공하며, 대부분의 경우에 한계된 이점을 보인다.
• 소스 작업이 오토인코딩일 경우에도 RESET-FILTERS 전략이 여전히 우수한 성능를 보이며, 이는 저수준 특징 재사용이 소스 작업 유형과 관계없이 효과적임을 시사한다.
• 단일 전략이 항상 우세하지는 않지만, 선택적 필터 재사용 전략이 다양한 도메인과 작업에서 가장 효과적이고 강력한 접근법으로 떠오른다.