[논문 리뷰] AOGNets: Compositional Grammatical Architectures for Deep Learning

Xilai Li, Xi Song외 1명|arXiv (Cornell University)|2017. 11. 15.

Adversarial Robustness in Machine Learning참고 문헌 73인용 수 6

한 줄 요약

이 논문은 AND-OR 문법(AOG)을 통합하여 구성적이고 재구성 가능한 신경망 구조를 생성하는 새로운 딥러닝 아키텍처인 AOGNets를 제안한다. 문장 구조 및 의존 문법을 통해 특징 맵을 공동으로 분석하는 AOG 빌딩 블록을 사용함으로써, AOGNets는 CIFAR-10, CIFAR-100, ImageNet-1K 및 MS-COCO 벤치마크에서 SOTA 정확도를 달성하며, FLOPs와 파라미터 수를 줄이면서도 모델의 해석 가능성과 적대적 공격에 대한 강건성을 향상시킨다. ResNet, ResNeXt, DenseNet 및 SENet 변종보다 뛰어난 성능을 보인다.

ABSTRACT

Neural architectures are the foundation for improving performance of deep neural networks (DNNs). This paper presents deep compositional grammatical architectures which harness the best of two worlds: grammar models and DNNs. The proposed architectures integrate compositionality and reconfigurability of the former and the capability of learning rich features of the latter in a principled way. We utilize AND-OR Grammar (AOG) as network generator in this paper and call the resulting networks AOGNets. An AOGNet consists of a number of stages each of which is composed of a number of AOG building blocks. An AOG building block splits its input feature map into N groups along feature channels and then treat it as a sentence of N words. It then jointly realizes a phrase structure grammar and a dependency grammar in bottom-up parsing the "sentence" for better feature exploration and reuse. It provides a unified framework for the best practices developed in state-of-the-art DNNs. In experiments, AOGNet is tested in the CIFAR-10, CIFAR-100 and ImageNet-1K classification benchmark and the MS-COCO object detection and segmentation benchmark. In CIFAR-10, CIFAR-100 and ImageNet-1K, AOGNet obtains better performance than ResNet and most of its variants, ResNeXt and its attention based variants such as SENet, DenseNet and DualPathNet. AOGNet also obtains the best model interpretability score using network dissection. AOGNet further shows better potential in adversarial defense. In MS-COCO, AOGNet obtains better performance than the ResNet and ResNeXt backbones in Mask R-CNN.

연구 동기 및 목표

• 최신 DNN의 최고 실천 사례를 문법 모델을 사용하여 원칙적이고 구성적인 프레임워크로 통합하기 위해.
• 매우 광범위한 신경망 아키텍처 공간을 탐색하는 데 도전하는 문제를 해결하기 위해 AND-OR 문법(AOG) 기반의 문법 유도 네트워크 생성기를 도입하기 위해.
• 계산 비용이나 모델 복잡도를 증가시키지 않으면서도 모델 성능, 해석 가능성, 적대적 강건성을 향상시키기 위해.
• 구성성과 횡방향 연결을 명시적으로 통합하여 구조적이고 재구성 가능하며 해석 가능한 깊은 네트워크 아키텍처를 가능하게 하기 위해.
• 문법 유도 아키텍처가 여러 벤치마크에서 기존 SOTA 모델을 초월하는 정확도와 강건성을 달성할 수 있음을 입증하기 위해.

제안 방법

• AOGNets는 여러 단계로 구성되며, 각 단계는 입력 특징 맵을 N개의 채널 그룹으로 구성된 '문장'으로 해석하는 하나 이상의 AOG 빌딩 블록을 포함한다.
• 각 AOG 빌딩 블록은 하향식 파싱 방식으로 문장 구조 문법과 의존 문법을 적용하여 특징 탐색과 재사용의 유연성을 확보한다.
• OR-노드는 대체 특징 경로를 나타내고 AND-노드는 다수의 경로를 동시 처리함으로써 계층적인 AND-OR 구조를 사용한다.
• 네트워크의 다양한 수준 간의 기울기 흐름과 특징 전파를 향상시키기 위해 횡방향 연결(LC)을 통합한다.
• OR-노드의 대칭적인 자식 노드를 제거하는 프루닝 전략(RS)을 통해 구조적 복잡성을 감소시키고 효과적인 특징 차원을 증가시킨다.
• 구성성과 재구성 가능성을 지원하는 프레임워크로, 문법 규칙에 기반한 네트워크 아키텍처의 동적 재조직이 가능하다.

실험 결과

연구 질문

• RQ1 문법 유도 네트워크 생성기는 현대 DNN의 최고 실천 사례를 하나의 해석 가능하고 재구성 가능한 아키텍처로 통합할 수 있는가?
• RQ2 AOG 기반 아키텍처는 ResNet 및 DenseNet과 같은 기존 SOTA 모델보다 이미지 분류 및 객체 검출 벤치마크에서 뛰어난 성능을 달성할 수 있는가?
• RQ3 구성적 문법 원칙의 통합이 모델의 해석 가능성과 적대적 강건성을 향상시키는가?
• RQ4 AOGNet은 기존 모델을 능가하면서도 FLOPs와 파라미터 수를 유지하거나 감소시킬 수 있는가?
• RQ5 횡방향 연결과 구조적 프루닝(RS)은 AOGNet 아키텍처의 성능 향상에 어느 정도 기여하는가?

주요 결과

• ImageNet-1K에서 AOGNet은 40.3M 파라미터로 80.18%의 top-1 정확도를 달성하여 ResNet-152(77.0%, 60.2M), ResNeXt-101(79.6%, 83.9M), DualPathNet-98(79.85%, 61.6M)을 모두 능가한다.
• CIFAR-10에서 AOGNet은 4.23M 파라미터로 테스트 오차율 3.52%를 기록하여 ResNet(4.62%), Wide ResNet(4.81%), DenseNet-BC(4.51%)를 초월한다.
• CIFAR-100에서 AOGNet은 4.23M 파라미터로 테스트 오차율 17.99%를 기록하여 ResNet(22.71%), Wide ResNet(22.07%), DenseNet-BC(22.27%)를 능가한다.
• 네트워크 디스section을 사용한 결과, AOGNet은 가장 높은 모델 해석 가능성 점수를 확보하여 뛰어난 구조적 투명성과 특징 분리 능력을 보였다.
• MS-COCO 객체 검출 및 인스턴스 세그멘테이션에서 AOGNet은 Mask R-CNN 백본을 사용해 ResNet 및 ResNeXt 백본을 사용한 모델보다 뛰어난 성능을 보였다.
• 제거 분석 결과, 횡방향 연결(LC)과 구조적 프루닝(RS) 모두 성능 향상에 기여하며, CIFAR-100에서 LC는 오차율을 0.05% 감소시키고 RS는 0.13% 감소시켰다.