[논문 리뷰] Neither Quick Nor Proper -- Evaluation of QuickProp for Learning Deep Neural Networks

Clemens-Alexander Brust, Sven Sickert외 3명|arXiv (Cornell University)|2016. 06. 14.

Advanced Neural Network Applications참고 문헌 18인용 수 6

한 줄 요약

이 논문은 의미 분할에서 깊이 있는 합성곱 신경망을 훈련시키기 위해 두 번째 차수 최적화 알고리즘인 QuickProp을 평가한다. 이론적으로 수렴 속도 향상 가능성이 있으나, 실험 결과 실제 데이터셋에서 네트워크 복잡도가 증가함에 따라 QuickProp은 표준 경사하강법에 비해 훈련 손실과 테스트 성능에서 일관되게 열등한 성능을 보이며, 이는 QuickProp이 현대 딥러닝 아키텍처에 큰 수정 없이 적용하기에 부적절하다는 결론을 이끌어낸다.

ABSTRACT

Neural networks and especially convolutional neural networks are of great interest in current computer vision research. However, many techniques, extensions, and modifications have been published in the past, which are not yet used by current approaches. In this paper, we study the application of a method called QuickProp for training of deep neural networks. In particular, we apply QuickProp during learning and testing of fully convolutional networks for the task of semantic segmentation. We compare QuickProp empirically with gradient descent, which is the current standard method. Experiments suggest that QuickProp can not compete with standard gradient descent techniques for complex computer vision tasks like semantic segmentation.

연구 동기 및 목표

• 의미 분할에서 깊이 있는 합성곱 신경망을 훈련시키기 위해 두 번째 차수 최적화 방법인 QuickProp을 평가하는 것.
• 훈련 손실과 테스트 정확도 측면에서 QuickProp의 성능을 표준 경사하강법과 비교하는 것.
• 필터 수와 깊이 등 네트워크 복잡도가 QuickProp과 경사하강법 간 상대적 성능에 미치는 영향을 조사하는 것.
• 실제 컴퓨터 비전 응용 분야에서 QuickProp이 더 나은 일반화 성능나 빠른 수렴 속도를 달성할 수 있는지 확인하는 것.

제안 방법

• QuickProp은 각 가중치에 대해 손실 함수의 이차 근사값을 사용하여 단순화된 헤시안 행렬 근사를 통해 최적의 스텝 크기를 추정한다.
• 이 알고리즘은 현재 및 이전 경사값을 사용하여 가중치 갱신을 수행하며, 경사하강법과 달리 덧셈 방식이 아닌 곱셈 방식의 갱신 규칙을 적용한다.
• 실험은 아키텍처 변형을 통제한 완전 컨volution 신경망을 사용하여 LabelMeFacade 데이터셋에서 수행되었다.
• 네트워크 복잡도는 컨볼루션 레이어의 필터 수를 변화시키고, 동일한 완전 연결 레이어를 반복적으로 쌓는 방식으로 조절되었다.
• 100 에포크 동안 훈련을 수행하였고, 통계적 유의성을 평가하기 위해 반복 실행을 실시하였으며, QuickProp과 경사하강법 간 결과를 비교하였다.
• 실제 세계 평가 이전에 제어 조건 하에서 QuickProp의 동작을 검증하기 위해 토이 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 QuickProp은 의미 분할을 위한 깊이 있는 합성곱 신경망 훈련에서 표준 경사하강법을 능가할 수 있는가?
• RQ2 필터 수나 레이어 수가 증가함에 따라 QuickProp의 성능는 어떻게 변화하는가?
• RQ3 실제 컴퓨터 비전 작업에서 QuickProp은 경사하강법보다 더 나은 일반화 성능나 더 빠른 수렴 속도를 달성하는가?
• RQ4 QuickProp의 두 번째 차수 최적화의 이론적 이점이 현대 딥러닝 아키텍처에 실질적으로 유용한가?

주요 결과

• 모든 테스트된 네트워크 크기와 아키텍처에서 QuickProp은 경사하강법보다 항상 높은 훈련 손실을 기록하였다.
• 필터 수가 증가하는 네트워크에서는 QuickProp과 경사하강법 간의 성능 격차가 더욱 벌어져, QuickProp의 확장성 약화를 시사했다.
• 반복적인 완전 연결 레이어를 통해 레이어 수를 늘릴 경우 QuickProp의 성능은 더욱 악화되었으며, 손실이 증가하다가 깊이가 증가함에 따라 정체되었다.
• 토이 실험에서는 약간의 일반화 우수성 보였지만, QuickProp은 실제 세계의 LabelMeFacade 데이터셋에서는 경사하강법에 비해 더 나은 일반화 성능를 보이지 않았다.
• 결과적으로 QuickProp은 모델 복잡도가 증가함에 따라 현대 딥러닝 신경망에 적합하지 않으며, 특히 컴퓨터 비전 분야에서 사용되는 깊이 있는 신경망에는 부적절하다는 것이 제기된다.
• 이 연구는 QuickProp을 표준 최적화 방법(예: 경사하강법) 대체로 사용할 경우 상당한 수정 없이선 사용하지 않는 것이 바람직하다고 결론 내린다.