[논문 리뷰] KerCNNs: biologically inspired lateral connections for classification of corrupted images

Noemi Montobbio, Laurent Bonnasse‐Gahot외 2명|arXiv (Cornell University)|2019. 10. 18.

Cell Image Analysis Techniques참고 문헌 45인용 수 7

한 줄 요약

이 논문은 피드포워드 필터 상관관계에서 유도된 파rameter-free 횡방향 연결을 통합함으로써 이미지 분류의 견고성을 향상시키는 생물학적으로 영감을 받은 CNN 변종인 KerCNNs를 제안한다. 이 방법은 모델 파라미터 수를 늘리지 않으면서도 전역적 형태의 손상과 악성 공격에 대해 안정성을 향상시키며, 표준 및 순환 CNN보다 패턴 복구 작업에서 뛰어난 성능을 보인다.

ABSTRACT

The state of the art in many computer vision tasks is represented by Convolutional Neural Networks (CNNs). Although their hierarchical organization and local feature extraction are inspired by the structure of primate visual systems, the lack of lateral connections in such architectures critically distinguishes their analysis from biological object processing. The idea of enriching CNNs with recurrent lateral connections of convolutional type has been put into practice in recent years, in the form of learned recurrent kernels with no geometrical constraints. In the present work, we introduce biologically plausible lateral kernels encoding a notion of correlation between the feedforward filters of a CNN: at each layer, the associated kernel acts as a transition kernel on the space of activations. The lateral kernels are defined in terms of the filters, thus providing a parameter-free approach to assess the geometry of horizontal connections based on the feedforward structure. We then test this new architecture, which we call KerCNN, on a generalization task related to global shape analysis and pattern completion: once trained for performing basic image classification, the network is evaluated on corrupted testing images. The image perturbations examined are designed to undermine the recognition of the images via local features, thus requiring an integration of context information - which in biological vision is critically linked to lateral connectivity. Our KerCNNs turn out to be far more stable than CNNs and recurrent CNNs to such degradations, thus validating this biologically inspired approach to reinforce object recognition under challenging conditions.

연구 동기 및 목표

• 전역적 형태는 유지하나 局부적 이미지 변형에 취약한 표준 CNN의 불안정성 문제를 해결한다. 이는 인간의 시각 인지 방식과 대조된다.
• 표준 CNN에서의 횡방향 연결 부재 문제를 해결한다. 이는 영양동물의 시각 처리 방식과의 핵심적 차이점이다.
• 각 레이어의 필터 간 기하학적 관계를 인코딩할 수 있는 파라미터 없는 횡방향 연결 메커니즘을 개발한다.
• 손상된 입력에 대한 일반화 능력을 평가함으로써 실제 세계의 시각적 과제(맥락 통합 필요)를 시뮬레이션한다.
• 생물학적으로 타당한 횡방향 연결이 재학습 없이도 패턴 복구 및 견고성을 향상시킨다는 것을 입증한다.

제안 방법

• 피드포워드 컨볼루션 필터의 상관관계를 기반으로 한 케라믹스 기반 모델을 영감으로 삼아, 횡방향 커널을 피드포워드 필터의 결정적 함수로 정의한다.
• 이러한 횡방향 커널을 각 컨볼루션 레이어에 순환적이고 컨볼루션 방식으로 통합하여 활성화 상관관계를 특징 맵 전반에 걸쳐 전파한다.
• 학습된 횡방향 가중치를 피하기 때문에 기반 CNN과 동일한 파라미터 수를 유지하여 공정한 비교를 보장한다.
• 표준 분류를 위해 청소년 이미지만으로 KerCNN을 훈련한 후, 손상된 입력에서의 일반화 능력을 평가한다.
• 가우시안 패치, 에지 손상, 악성 노이즈와 같은 변형을 적용하여 맥락 의존적 인식 요구 조건 하에서의 견고성을 평가한다.
• 표준 CNN과 동일한 훈련 및 추론 파이프라인을 사용하며, 손상된 입력에서만 추론 시 구조화된 횡방향 연결을 추가한다.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 받은 횡방향 연결이 국소적 특징을 손상시키지만 전역적 형태를 유지하는 이미지 손상에 대해 CNN의 견고성을 향상시킬 수 있는가?
• RQ2 피드포워드 필터 상관관계에서 유도된 파라미터 없는 횡방향 커널이 CNN의 패턴 복구 및 맥락 통합 능력을 향상시킬 수 있는가?
• RQ3 악성 공격 및 가림 상태에서 KerCNN의 성능이 표준 및 순환 CNN보다 어떻게 비교되는가?
• RQ4 횡방향 연결은 손상된 데이터로 재학습 없이도 누락된 이미지 구조를 자발적으로 복구할 수 있는가? 그 정도는 어느 정도인가?
• RQ5 피드포워드 필터에서 파생된 횡방향 연결의 기하학적 구조는 국소적 특징 학습을 초월해 일반화 능력을 향상시킬 수 있는가?

주요 결과

• Kuzushiji-MNIST에서 D=4 이격 상태일 때 KerCNNs는 기반 CNN의 약 ~35% 대비 약 ~60%의 정확도를 기록하여 전역적 형태 손상 상황에서 강력한 패턴 복구 능력을 입증했다.
• 에지 손상 및 악성 공격 상황에서 KerCNNs는 표준 CNN 대비 최대 약 ~15% 향상된 성능을 보이며 견고성이 향상됨을 시사했다.
• CIFAR-10에서 가우시안 패치 손상 상황에서는 KerCNNs가 CNN과 유사한 성능을 유지했지만, 더 큰 가림 상태(γ > 5)에서는 성능이 뛰어나 맥락 통합의 이점이 있음을 보여주었다.
• 학습된 횡방향 커널을 사용한 경우(예: Liang & Hu, 2015)에는 이러한 향상이 관찰되지 않아, 피드포워드 필터에서 유도된 기하학적 구조가 견고성에 필수적임을 시사했다.
• 횡방향 연결은 손상된 데이터로 재학습 없이도 정보의 자발적 복구를 가능하게 하여 맥락 통합의 역할을 확인시켰다.
• 기반 CNN의 원래 파라미터 수를 유지하여 공정한 비교와 계산 오버헤드 없이 실용적인 구현이 가능했다.