[논문 리뷰] Convolutional Networks with Adaptive Computation Graphs.

Andreas Veit, Serge Belongie|arXiv (Cornell University)|2017. 11. 30.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 21

한 줄 요약

이 논문은 적응형 계산 그래프를 갖춘 컨볼루션 네트워크인 Adanet을 제안한다. 이는 학습 가능한 게이팅 함수를 통해 입력에 따라 레이어를 동적으로 건너뛸 수 있도록 하여 고수준의 특징 추출에서 효율적인 계산과 특화를 가능하게 한다. ImageNet에서 Adanet 50은 ResNet 34보다 30% 적은 FLOPs를 사용하면서도 7.94%의 top-5 오차를 기록하며, 적대적 예제에 대한 강건성도 향상시켰다.

ABSTRACT

Do convolutional networks really need a fixed feed-forward structure? Often, a neural network is already confident after a few layers about the high-level concept shown in the image. However, due to the fixed network structure, all remaining layers still need to be evaluated. What if the network could jump right to a layer that is specialized in fine-grained differences of the image's content? In this work, we propose Adanets, a family of convolutional networks with adaptive computation graphs. Following a high-level structure similar to residual networks (Resnets), the key difference is that for each layer a gating function determines whether to execute the layer or move on to the next one. In experiments on CIFAR-10 and ImageNet we demonstrate that Adanets efficiently allocate computational budget among layers and learn distinct layers specializing in similar categories. Adanet 50 achieves a top 5 error rate of 7.94% on ImageNet using 30% fewer computations than Resnet 34, which only achieves 8.58%. Lastly, we study the effect of adaptive computation graphs on the susceptibility towards adversarial examples. We observe that Adanets show a higher robustness towards adversarial attacks, complementing other defenses such as JPEG compression.

연구 동기 및 목표

• 신뢰도에 관계없이 모든 레이어를 처리하는 고정 깊이의 컨볼루션 네트워크의 비효율성 문제를 해결하기 위해.
• 입력에 따라 신뢰도에 기반해 레이어를 건너뛸 수 있도록 동적 계산을 가능하게 하기 위해.
• 적응형 계산 그래프가 모델의 효율성과 강건성 향상에 기여하는지 탐색하기 위해.
• 적응형 라우팅 하에서 유사한 이미지 카테고리에 대해 특화된 레이어가 나타나는지 조사하기 위해.
• 적응형 계산이 적대적 예제에 대한 민감도에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 각 레이어 뒤에 미분 가능한 게이팅 함수가 있는 잔차 유사 아키텍처를 채택한다.
• 게이팅 함수는 입력 특징 맵에 기반해 현재 레이어를 건너뛸 확률을 계산한다.
• 추론 시, 게이트 출력값이 임계값을 초과하면 해당 레이어가 건너뛰어지고 네트워크는 다음 레이어로 진행된다.
• 미분 가능한 게이팅 함수를 사용해 표준 backpropagation을 통해 엔드 투 엔드로 네트워크를 훈련시킨다.
• 각 레이어는 유사한 이미지 카테고리 간의 미세한 차이를 구분하는 데 특화되도록 설계된다.
• 적응형 라우팅은 입력 복잡도에 따라 계산 자원을 더 효율적으로 할당할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 적응형 계산 그래프는 정확도를 희생시키지 않고 FLOPs를 줄일 수 있는가?
• RQ2 적응형 네트워크는 유사한 이미지 카테고리에 대해 특화된 레이어를 학습하는가?
• RQ3 적응형 계산은 적대적 예제에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 게이팅 메커니즘이 확신 있는 예측에 대해 조기 종료를 가능하게 하여 추론 효율성을 향상시키는가?
• RQ5 고정 구조 네트워크에 비해 동적 라우팅이 더 효율적이고 강건한 모델을 이끌어내는가?

주요 결과

• Adanet 50은 ImageNet에서 ResNet 34가 기록한 8.58%보다 높은 정확도를 기록하며 7.94%의 top-5 오차를 기록했다.
• Adanet 50은 ResNet 34보다 30% 적은 FLOPs를 사용하면서도 더 높은 정확도를 달성했다.
• 네트워크는 유사한 이미지 카테고리 간의 미세한 차이를 다루는 데 특화된 별도의 레이어를 학습한다.
• 적응형 계산 그래프는 적대적 공격에 대한 강건성을 향상시켜 기존 네트워크보다 더 높은 내성 강도를 보였다.
• 적응형 메커니즘이 확신 있는 예측에 대해 조기 종료를 가능하게 하여 쉬운 샘플에 대한 계산을 줄였다.
• Adanets는 JPEG 압축과 같은 기존 방어 기법과 조합되어 적대적 강건성을 더욱 향상시켰다.