[논문 리뷰] GBCNs: Genetic Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs

Chunlei Liu, Wenrui Ding외 4명|arXiv (Cornell University)|2019. 11. 25.

Advanced Neural Network Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 균형 잡힌 유전 알고리즘(BGA)을 사용하여 국소 최소값을 완화하고 표현 능력을 향상시켜 1비트 딥 컨볼루션 신경망(DCNN)의 성능을 향상시키는 새로운 엔드 투 엔드 프레임워크인 유전 이진 컨볼루션 네트워크(GBCNs)를 제안한다. 이 방법은 CIFAR, ImageNet, 얼굴 인식, 인물 재식별 등 다양한 작업에서 정확도를 크게 향상시킨다.

ABSTRACT

Training 1-bit deep convolutional neural networks (DCNNs) is one of the most challenging problems in computer vision, because it is much easier to get trapped into local minima than conventional DCNNs. The reason lies in that the binarized kernels and activations of 1-bit DCNNs cause a significant accuracy loss and training inefficiency. To address this problem, we propose Genetic Binary Convolutional Networks (GBCNs) to optimize 1-bit DCNNs, by introducing a new balanced Genetic Algorithm (BGA) to improve the representational ability in an end-to-end framework. The BGA method is proposed to modify the binary process of GBCNs to alleviate the local minima problem, which can significantly improve the performance of 1-bit DCNNs. We develop a new BGA module that is generic and flexible, and can be easily incorporated into existing DCNNs, such asWideResNets and ResNets. Extensive experiments on the object classification tasks (CIFAR, ImageNet) validate the effectiveness of the proposed method. To highlight, our method shows strong generalization on the object recognition task, i.e., face recognition, facial and person re-identification.

연구 동기 및 목표

• 이진 커널과 활성화로 인해 발생하는 심각한 정확도 저하와 학습 비효율성 문제를 해결하기 위해.
• 1비트 DCNN 학습 중 국소 최소값에 갇힐 위험을 줄이기 위해.
• 새로운 최적화 전략을 통해 1비트 DCNN의 표현 능력을 향상시키기 위해.
• 기존 아키텍처인 WideResNets와 ResNets에 쉽게 통합할 수 있는 일반적이고 유연한 모듈을 개발하기 위해.
• 다양한 객체 인식 작업, 특히 얼굴 및 인물 재식별을 포함한 일반화 성능을 검증하기 위해.

제안 방법

• 1비트 DCNN의 이진 가중치 및 활성화 과정을 최적화하기 위해 균형 잡힌 유전 알고리즘(BGA)을 도입하여 국소 최소값에 대한 민감도를 감소시킨다.
• 기존 딥 러닝 아키텍처인 WideResNets와 ResNets에 쉽게 통합할 수 있는 일반적이고 모듈화된 새로운 BGA 모듈을 제안한다.
• 학습 중에 BGA를 활용해 이진 파라미터를 동적으로 조정함으로써 네트워크의 해 공간 탐색 능력을 향상시킨다.
• BGA 모듈을 네트워크 가중치와 함께 공동 최적화하는 엔드 투 엔드 학습 프레임워크를 설계하여 이진 제약 조건을 유지하면서 성능을 향상시킨다.
• 선택, 교배, 변이와 같은 유전 연산을 사용해 백프로파게이션 동안 더 나은 이진 구성으로 진화시킨다.
• BGA 프로세스에서 미분 가능 리프레젠테이션을 통해 기울기 흐름을 유지하면서 추론 과정 전반에 걸쳐 이진 제약 조건을 유지한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘 기반 최적화 전략이 1비트 DCNN 학습에서 국소 최소값에 갇힐 위험을 효과적으로 줄일 수 있는가?
• RQ2 균형 잡힌 유전 알고리즘(BGA)은 모델 복잡도를 증가시키지 않으면서 1비트 DCNN의 표현 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 제안된 GBCN 프레임워크는 이미지 분류 및 재식별을 포함한 다양한 컴퓨터 비전 작업에 대해 어떻게 일반화되는가?
• RQ4 BGA 모듈은 ResNets와 WideResNets와 같은 표준 딥 러닝 아키텍처에 효과적이고 효율적으로 통합될 수 있는가?
• RQ5 기존 1비트 DCNN 방법과 비교해 GBCN은 CIFAR 및 ImageNet과 같은 벤치마크 데이터셋에서 어떤 성능 향상을 달성하는가?

주요 결과

• 제안된 GBCN 프레임워크는 국소 최소값 문제를 완화시켜 CIFAR-10 및 CIFAR-100 벤치마크에서 1비트 DCNN의 정확도를 크게 향상시킨다.
• GBCNs는 ImageNet에서 우수한 성능을 기록하여 대규모 이미지 분류 작업에서 이 방법의 확장성과 효과성을 입증한다.
• 얼굴 인식 및 인물 재식별 작업에서 강력한 일반화 성능을 보이며, 표준 분류 작업을 초월한 적용 가능성을 시사한다.
• BGA 모듈은 아키텍처 변경 없이 모델 성능을 향상시켜 존재하는 DCNN에 즉각 통합 가능한 플러그 앤 플레이 향상 요소임을 입증한다.
• 광범위한 아블레이션 연구를 통해 BGA 기반 최적화 전략이 표준 이진화 방법보다 더 안정적이고 정확한 1비트 네트워크 학습을 이끌 수 있음을 확인한다.