[논문 리뷰] Interpretable Convolutional Neural Networks via Feedforward Design

C.‐C. Jay Kuo, Min Zhang외 3명|arXiv (Cornell University)|2018. 10. 05.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 8

한 줄 요약

이 논문은 백프로파게이션을 제거하고 데이터 통계를 한 번의 통과 과정으로부터 네트워크 파라미터를 유도함으로써 해석 가능한 컨볼루션 신경망(CNN)을 위한 피드포워드(FF) 설계를 제안한다. 컨볼루션 레이어에 Saab 변환을, 완전 연결 레이어에 계층적 최소 제곱 회귀기(least-squared regressors)를 사용함으로써, MNIST와 CIFAR-10에서 경쟁력 있는 성능을 달성하면서도 특징 학습 및 네트워크 동작에 대한 투명성을 제공한다.

ABSTRACT

The model parameters of convolutional neural networks (CNNs) are determined by backpropagation (BP). In this work, we propose an interpretable feedforward (FF) design without any BP as a reference. The FF design adopts a data-centric approach. It derives network parameters of the current layer based on data statistics from the output of the previous layer in a one-pass manner. To construct convolutional layers, we develop a new signal transform, called the Saab (Subspace Approximation with Adjusted Bias) transform. It is a variant of the principal component analysis (PCA) with an added bias vector to annihilate activation's nonlinearity. Multiple Saab transforms in cascade yield multiple convolutional layers. As to fully-connected (FC) layers, we construct them using a cascade of multi-stage linear least squared regressors (LSRs). The classification and robustness (against adversarial attacks) performances of BP- and FF-designed CNNs applied to the MNIST and the CIFAR-10 datasets are compared. Finally, we comment on the relationship between BP and FF designs.

연구 동기 및 목표

• 백프로파게이션을 피하고 데이터 중심의 한 번의 통과 과정을 통해 파라미터를 유도하는 해석 가능한 CNN 설계 방법론을 개발하는 것.
• 백프로파게이션 기반 학습과 대체가 되는 프레임워크를 제공함으로써, 선형 대수학, 통계학 및 신호 처리 원리에 기반한 네트워크 설계를 이룩하는 것.
• 원칙적인 차원 축소와 군집 기반 특징 매핑을 통해 CNN의 이해를 향상시키기 위해 체계적인 방법으로 네트워크를 구성하는 것.
• 기준 백프로파게이션 기반 모델과 비교하여 기준 데이터셋에서 피드포워드 설계된 CNN의 성능 및 내구성 평가하기

제안 방법

• 활성 함수 비선형성을 제거하기 위해 편향 항을 추가한 주성분분석(PCA)의 변종인 Saab(Subspace Approximation with Adjusted Bias) 변환을 도입한다.
• 다중 컨볼루션 레이어를 구축하기 위해 Saab 변환을 계열적으로 사용하며, 각 레이어는 이전 레이어의 특징 맵에 대해 부분공간 근사 수행한다.
• 특징을 하위 클래스로, 그리고 하위 클래스에서 클래스 레이블로 매핑하기 위해 다단계 선형 최소 제곱 회귀(LSR)를 사용한다. 이 과정에서 가짜 레이블(pseudo-labels)을 활용한다.
• 반복 최적화 없이 입력 데이터의 통계, 특히 평균과 공분산을 직접 활용해 필터 가중치와 편향을 유도한다.
• 입력 특징의 최대 노름을 기반으로 편향을 제한함으로써 활성화 출력이 음수가 되지 않도록 하는 편향 선택 전략을 적용한다.
• 입력 데이터의 1차 및 2차 통계만을 사용하여 피드포워드 방식으로 한 번의 통과 과정으로 네트워크를 구성한다.

실험 결과

연구 질문

• RQ1 백프로파게이션 없이도 경쟁적인 분류 정확도를 유지할 수 있는 CNN 설계가 가능한가?
• RQ2 정확도와 내구성 측면에서 데이터 중심의 피드포워드 설계 방식은 백프로파게이션 기반 학습 방식과 어떻게 비교되는가?
• RQ3 Saab 변환과 LSR 기반 레이어 설계 방식이 CNN에서 얼마나 높은 해석 가능성 제공할 수 있는가?
• RQ4 편향 조정은 Saab 변환에서 비선형성 없는 활성화를 보장하고 신호 구조를 유지하는 데 어떤 역할을 하는가?
• RQ5 피드포워드 설계된 네트워크는 표준 백프로파게이션 기반 모델과 비교해 악성 공격에 대해 어떻게 성능을 보이는가?

주요 결과

• 피드포워드 설계된 CNN는 MNIST 및 CIFAR-10 데이터셋에서 백프로파게이션 기반 학습 모델과 유사한 분류 성능를 달성한다.
• FF 설계 네트워크는 악성 공격에 대해 뛰어난 내구성을 보이며, 데이터 기반 설계 과정의 본질적 안정성을 시사한다.
• Saab 변환은 차원 축소를 효과적으로 수행하면서도 분류에 유용한 특징를 유지하여 효율적인 컨볼루션 레이어 설계를 가능하게 한다.
• 계층적 LSR에서의 가짜 레이블 사용은 백프로파게이션 없이도 특징 공간에서 클래스 공간으로의 계층적 매핑을 효과적으로 수행할 수 있도록 한다.
• 편향 선택 전략은 이론적 경계로부터 유도된 바와 같이, 입력 특징의 최대 노름 이상의 편향을 설정함으로써 음수 활성화를 방지한다.
• 제안된 방법은 백프로파게이션의 투명성 없는 블랙박스 방식에 대체할 수 있는 투명하고 해석 가능한 대안을 제공하며, 선형 대수학과 통계학에 명확한 수학적 기반을 두고 있다.