[논문 리뷰] Residual Convolutional Neural Network Revisited with Active Weighted Mapping

Hyoungho Jung, Ryong Lee외 2명|arXiv (Cornell University)|2018. 11. 16.

Machine Learning and ELM참고 문헌 18인용 수 5

한 줄 요약

이 논문은 입력에 적응하는 가중치를 갖는 학습 가능한, 입력에 적응하는 가중치 기반 매핑 기법인 액티브 웨이트드 매핑(Active Weighted Mapping, AWM)을 제안한다. 이는 고정된 아이덴티티 스위치 연결을 대체하여, 입력 이미지에 따라 동적으로 결정되는 채널 인지 가중치를 사용한다. 전체 특징 임bedding을 기반으로 완전 연결층을 사용해 각 레이어별로 가중치를 예측함으로써, ResNet 및 DenseNet 아키텍처 전반에서 정확도를 향상시킨다. 실험 결과, CIFAR-100에서 최대 0.62%의 오차율 감소가 관찰되었으며, 유추된 가중치의 강력한 분류 능력(PCA+LDA 기반 분류에서 AUC 8.14% 향상)을 보였다.

ABSTRACT

In visual recognition, the key to the performance improvement of ResNet is the success in establishing the stack of deep sequential convolutional layers using identical mapping by a shortcut connection. It results in multiple paths of data flow under a network and the paths are merged with the equal weights. However, it is questionable whether it is correct to use the fixed and predefined weights at the mapping units of all paths. In this paper, we introduce the active weighted mapping method which infers proper weight values based on the characteristic of input data on the fly. The weight values of each mapping unit are not fixed but changed as the input image is changed, and the most proper weight values for each mapping unit are derived according to the input image. For this purpose, channel-wise information is embedded from both the shortcut connection and convolutional block, and then the fully connected layers are used to estimate the weight values for the mapping units. We train the backbone network and the proposed module alternately for a more stable learning of the proposed method. Results of the extensive experiments show that the proposed method works successfully on the various backbone architectures from ResNet to DenseNet. We also verify the superiority and generality of the proposed method on various datasets in comparison with the baseline.

연구 동기 및 목표

• 딥 뷰얼 인식에서의 정확도 향상에 더 이상 기여하지 않는, 고정된 아이덴티티 기반 스위치 연결의 한계를 해결하기 위해.
• 잔차 연결에 대해 학습 가능한, 입력에 의존하는 가중치를 사용할 경우 기능 융합과 모델 성능 향상에 기여하는지 탐색하기 위해.
• 제안된 방법의 일반성과 효과성을 다양한 백본 아키텍처, 특히 ResNet과 DenseNet에서 검증하기 위해.
• 원본 이미지 특징과 독립적으로, 유추된 가중치 값의 분류 능력을 정량적으로 평가하기 위해.

제안 방법

• 각 잔차 블록의 스위치 연결에 대한 가중치를 입력에 따라 동적으로 예측하는 Active Weighted Mapping(AWM)을 제안한다.
• 스위치 연결과 컨볼루션 블록에서 각각 전역 평균 풀링 특징을 추출하고, 이를 연결하여 완전 연결층에 입력하여 가중치 값을 예측한다.
• 완전 연결층의 출력에 시그모이드 활성화 함수를 적용하여, 각 잔차 블록에 대해 0에서 1 사이의 정규화된 학습 가능한 가중치를 생성한다.
• 교차 교체 학습 전략을 사용한다: 백본 네트워크와 AWM 모듈이 번갈아가며 학습되며, 한쪽은 동결된 채로 다른 한쪽이 업데이트되어 안정적인 엔드 투 엔드 학습을 보장한다.
• DenseNet에서의 연결 전에 학습된 가중치를 적용하기 위해 소프트 할당 유사 메커니즘을 사용하여, 각 연결의 입력 기반 중요도에 적응한다.
• PCA+LDA를 사용해 유추된 가중치 벡터의 분류 능력을 평가하고, k-NN 분류 설정에서 픽셀 기반 특징과 비교한다.

실험 결과

연구 질문

• RQ1 ResNet의 고정된 아이덴티티 매핑을 입력에 적응하는 가중치로 대체할 경우 시각 인식 정확도 향상이 가능할까?
• RQ2 AWM 모듈에서 유추된 동적 가중치가 다양한 이미지 클래스와 입력 특성에 따라 의미 있게 변화하는가?
• RQ3 제안된 AWM 방법은 ResNet 및 DenseNet과 같은 다양한 백본 아키텍처에 일반화 가능한가?
• RQ4 낮은 차원이지만 유추된 가중치 벡터가 이미지 분류에 충분한 분류 정보를 포착할 수 있는가?
• RQ5 다양한 데이터셋과 네트워크 깊이에서 AWM 모듈의 성능은 기준 모델 대비 어떻게 비교되는가?

주요 결과

• DenseNet(22~40층)에 적용했을 때, CIFAR-100에서 평균 0.62%의 오차율 감소를 기록하여 깊이 변화에 관계없이 일관된 성능 향상을 보였다.
• ResNet-110에서 AWM 모듈이 유추한 가중치 벡터는 강력한 분류 능력을 보였으며, PCA+LDA 기반 k-NN 분류에서 Rank-1에서 Rank-10까지 평균 AUC가 8.14% 향상되어 픽셀 기반 특징를 초월했다.
• 절단 실험 결과, AWM 모듈이 예측한 가중치 값이 클래스에 따라 의존적임을 확인했으며, 이는 저차원 가중치 벡터에서의 LDA 기반 분류 성능에 의해 뒷받침된다.
• 다양한 백본 아키텍처, 특히 ResNet과 DenseNet에서의 광범위한 실험을 통해 방법의 효과성과 일반화 능력이 검증되었으며, 넓은 적용 가능성을 시사한다.
• 교차 교체 학습 전략이 학습을 안정화시키며, AWM 모듈이 성능 향상에 기여하면서도 성능 저하 없이 수렴함을 확인했다.