[논문 리뷰] Flip-Rotate-Pooling Convolution and Split Dropout on Convolution Neural Networks for Image Classification

Fa Wu, Peijun Hu외 1명|arXiv (Cornell University)|2015. 07. 31.

Advanced Neural Network Applications참고 문헌 21인용 수 18

한 줄 요약

이 논문은 이미지 분류 성능을 햖스키기 위해 Split Dropout (sDropout)과 두 가지 회전 기반 컨볼루션 기법—Rotate-Pooling Convolution (RPC) 및 Flip-Rotate-Pooling Convolution (FRPC)—을 제안한다. sDropout은 훈련 중 유닛을 두 개의 상호배타적 부분집합으로 나누어 수렴성과 일반화 능력을 향상시킨다. 반면 RPC와 FRPC는 추가 파rameter 없이도 회전 불변성을 구현한다. sDropout과 FRPC의 조합은 원본 Zeiler와 Fergus 모델 대비 ImageNet 2012에서 상위 1위 정확도를 1.18% 향상시킨다.

ABSTRACT

This paper presents a new version of Dropout called Split Dropout (sDropout) and rotational convolution techniques to improve CNNs' performance on image classification. The widely used standard Dropout has advantage of preventing deep neural networks from overfitting by randomly dropping units during training. Our sDropout randomly splits the data into two subsets and keeps both rather than discards one subset. We also introduce two rotational convolution techniques, i.e. rotate-pooling convolution (RPC) and flip-rotate-pooling convolution (FRPC) to boost CNNs' performance on the robustness for rotation transformation. These two techniques encode rotation invariance into the network without adding extra parameters. Experimental evaluations on ImageNet2012 classification task demonstrate that sDropout not only enhances the performance but also converges faster. Additionally, RPC and FRPC make CNNs more robust for rotation transformations. Overall, FRPC together with sDropout bring $1.18\%$ (model of Zeiler and Fergus~\cite{zeiler2013visualizing}, 10-view, top-1) accuracy increase in ImageNet 2012 classification task compared to the original network.

연구 동기 및 목표

• 딥 컨볼루션 네트워크에서 과적합을 해결하기 위해 표준 Dropout 정규화 기법을 개선한다.
• 표준 풀링 및 컨볼루션 레이어가 구현하지 못하는, 회전 변환에 대한 강건성을 향상시킨다.
• 모델 복잡도를 증가시키지 않으면서 일반화 및 수렴성을 향상시키는 효율적이고 파rameter가 없는 방법을 개발한다.
• sDropout과 회전 기반 컨볼루션 기법의 효과를 대규모 이미지 분류 작업, 즉 ImageNet 2012를 통해 검증한다.
• sDropout과 FRPC를 조합했을 때 정확도 향상이 두드러지게 나타나며, 계산 오버헤드는 낮게 유지됨을 보여준다.

제안 방법

• 표준 Dropout 방식에서 반반 랜덤 드롭아웃을 적용하는 대신, 훈련 중 특징 맵 유닛을 두 개의 상호배타적 부분집합으로 나누는 Split Dropout (sDropout)을 제안한다. 이로 인해 모든 파라미터가 매 반복마다 업데이트되며, 수렴 속도 향상과 일반화 능력 향상이 가능하다.
• Rotate-Pooling Convolution (RPC)을 도입한다. 컨볼루션 커널을 여러 각도(예: 0°, 90°, 180°, 270°)로 회전시키고, 최대 활성화 값을 max-pooling을 통해 취함으로써 회전 불변성을 강제로 구현한다.
• Flip-Rotate-Pooling Convolution (FRPC)을 개발한다. RPC를 확장하여 커널에 수평 및 수직 반전도 적용함으로써, 회전뿐만 아니라 반사에 대한 불변성까지 향상시킨다.
• sDropout은 완전 연결 레이어에, FRPC는 컨볼루션 레이어에 적용하여, Zeiler와 Fergus 네트워크 아키텍처에서 표준 Dropout과 전통적 컨볼루션 연산을 대체한다.
• ImageNet 2012 검증 세트에서 10개 시야 평가 전략(10-view top-1 정확도)을 활용하여, 회전에 대한 강건성과 일반화 능력을 평가한다.
• 기본 모델에서는 ReLU와 PReLU 활성화 함수를 사용하며, 성능 최적화를 위해 다양한 회전 및 반전 비율(25%, 50%, 100%)에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 훈련 중 모든 유닛을 유지하는 수정된 드롭아웃 전략이 CNN의 수렴 속도 향상과 일반화 능력 향상에 기여하는가?
• RQ2 추가 파rameter 없이 커널의 회전과 풀링을 통해 얼마나 강력한 회전 불변성을 CNN에 구현할 수 있는가?
• RQ3 sDropout과 FRPC의 조합이 ImageNet 2012 벤치마크에서 상위 1위 및 상위 5위 정확도에 어떤 영향을 미치는가?
• RQ4 FRPC의 성능 향상 정도가 다양한 이미지 카테고리, 특히 특정 각도에서의 회전에 따라 달라지는가?
• RQ5 FRPC에서 회전 및 반전 연산의 최적 비율은 정확도를 극대화하면서도 계산 오버헤드를 최소화하는 데 어떤가?

주요 결과

• sDropout은 Zeiler와 Fergus 모델에서 상위 1위 오차율을 37.72%에서 37.19%로 감소시켜 일반화 능력 향상과 더 빠른 수렴을 입증한다.
• 25%의 회전 및 반전 비율을 적용한 FRPC(ZPSRF)는 ImageNet 2012에서 상위 1위 오차율 35.97%와 상위 5위 오차율 15.06%를 기록하여 가장 낮은 오차율을 달성한다.
• sDropout과 FRPC의 조합은 10개 시야 평가 조건에서 원본 Zeiler와 Fergus 모델(ZP) 대비 상위 1위 정확도를 1.18%p 향상시킨다.
• RPC와 FRPC는 회전에 대한 강건성을 크게 향상시킨다: ZPSR 모델은 모든 회전 각도에서 높은 분류 확률을 유지하며, 특히 180°에서 성능이 최고조에 이른다.
• 복잡한 무늬나 대칭성이 낮은 이미지에서 FRPC는 예측 신뢰도가 상당히 향상되어, 표준 모델 대비 다양한 각도에서 예측 정확도가 높아진다.
• 제안된 방법들은 네트워크 아키텍처를 변경하거나 학습 가능한 파rameter를 추가하지 않아 계산 및 메모리 오버헤드가 거의 없다.