[논문 리뷰] A Branching and Merging Convolutional Network with Homogeneous Filter Capsules

Adam Byerly, Tatiana Kalganova|arXiv (Cornell University)|2020. 01. 24.

Music and Audio Processing참고 문헌 26인용 수 47

한 줄 요약

이 논문은 최종 합성곱 필터를 균일한 벡터 캡슐로 변환하는 분기 및 융합 경로를 갖는 새로운 합성곱 신경망을 제안한다. 이는 다양한 수용장과 추상화 수준에서 향상된 특징 추출을 가능하게 하며, 앙상블를 사용할 경우 MNIST에서 99.84%의 정확도를 달성하고 단일 모델로는 99.79%의 정확도를 기록하여 기존 캡슐 네트워크 대비 파rameter 수와 학습 에포크 수를 각각 75% 감소시켰다.

ABSTRACT

We present a convolutional neural network design with additional branches after certain convolutions so that we can extract features with differing effective receptive fields and levels of abstraction. From each branch, we transform each of the final filters into a pair of homogeneous vector capsules. As the capsules are formed from entire filters, we refer to them as filter capsules. We then compare three methods for merging the branches--merging with equal weight and merging with learned weights, with two different weight initialization strategies. This design, in combination with a domain-specific set of randomly applied augmentation techniques, establishes a new state of the art for the MNIST dataset with an accuracy of 99.84% for an ensemble of these models, as well as establishing a new state of the art for a single model (99.79% accurate). These accuracies were achieved with a 75% reduction in both the number of parameters and the number of epochs of training relative to the previously best performing capsule network on MNIST. All training was performed using the Adam optimizer and experienced no overfitting.

연구 동기 및 목표

• 핵심 합성곱 이후 분기 경로를 도입하여 합성곱 네트워크의 특징 표현을 향상시키는 것.
• 전체 합성곱 필터에서 파생된 필터 캡슐을 통해 다중 척도 및 다중 수준의 추상화를 가능하게 하는 것.
• 모델 복잡도와 학습 비용을 줄이면서도 MNIST에서 성능을 유지하거나 향상시키는 것.
• 다양한 초기화 방법을 사용한 등가 가중치 및 학습된 가중치 융합 전략을 평가하여 최적의 성능을 도출하는 것.

제안 방법

• 특정 합성곱 레이어 이후에 추가적인 분기 경로를 도입하여 다양한 효과적 수용장의 특징을 추출한다.
• 각 분기의 최종 합성곱 필터는 균일한 벡터 캡슐로 변환되며, 이를 필터 캡슐이라 칭한다.
• 세 가지 융합 전략을 평가한다: 단순 평균화(등가 가중치), 무작위 초기화를 사용한 학습된 가중치, Xavier 초기화를 사용한 학습된 가중치.
• 네트워크는 Adam 옵timizer를 사용하고 과적합을 방지하기 위해 도메인 특화 데이터 증강 기법을 적용한다.
• 캡슐 변환 과정은 전체 필터 출력을 벡터 표현으로 인코딩함으로써 공간적 및 계층적 정보를 유지한다.
• 강력한 데이터 증강 조건에서도 과적합의 징후가 없이 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 합성곱 레이어 이후 분기 경로를 도입하면 MNIST에서 특징 추상화 및 모델 정확도 향상에 기여하는가?
• RQ2 다양한 분기에서 추출한 특징을 융합할 때, 등가 가중치와 학습된 가중치 전략의 성능에 어떤 영향을 미치는가?
• RQ3 이러한 캡슐 기반 아키텍처를 사용할 경우, 정확도를 유지하거나 향상시키면서도 파rameter 수와 학습 에포크 수를 얼마나 줄일 수 있는가?
• RQ4 전체 합성곱 필터에서 유도된 필터 캡슐은 표준 특징 맵에 비해 표현 학습을 어떻게 향상시키는가?
• RQ5 이 아키텍처와 함께 도메인 특화 데이터 증강을 사용할 경우 성능을 추가로 향상시킬 수 있으며 일반화 능력을 유지할 수 있는가?

주요 결과

• 제안된 모델은 앙상블 정확도 99.84%로 MNIST 데이터셋에서 새로운 SOTA를 달성하였다.
• 단일 모델은 99.79%의 정확도를 기록하여 MNIST에서 개별 모델 기준으로 새로운 SOTA를 수립하였다.
• 기존 MNIST에서 가장 우수한 캡슐 네트워크 대비 파rameter 수와 학습 에포크 수를 각각 75% 감소시켰다.
• 강력한 데이터 증강과 높은 용량을 가진 상태에서도 과적합의 징후가 없었다.
• Xavier 초기화를 사용한 학습된 가중치 융합 전략이 다른 전략보다 뛰어난 성능을 보였으며, 캡슐 융합에서 적절한 가중치 초기화의 중요성을 시사하였다.
• 필터 캡슐의 사용은 계층적 특징 표현을 효과적으로 가능하게 하면서도 계산 효율성을 유지한다.