[논문 리뷰] Paradox in Deep Neural Networks: Similar yet Different while Different yet Similar

Arash Akbarinia, Karl R. Gegenfurtner|arXiv (Cornell University)|2019. 03. 12.

Cell Image Analysis Techniques참고 문헌 31인용 수 3

한 줄 요약

이 논문은 딥 네ural 네트워크에서 커널 가중치 유사성과 성능 일반화 사이의 역설적인 관계를 조사하며, 유사한 커널 가중치는 왜곡 조건에서 매우 다른 성능을 보일 수 있으며, 비유사한 커널 가중치는 유사한 성능을 낼 수 있음을 발견한다. 주요 기여는 내재적 가중치 유사성이 기능적 내성 예측에 부적절하다는 것을 입증하여, 전이 학습 및 DNN의 해석 가능성에 대한 기존 가정을 도전한다.

ABSTRACT

Machine learning is advancing towards a data-science approach, implying a necessity to a line of investigation to divulge the knowledge learnt by deep neuronal networks. Limiting the comparison among networks merely to a predefined intelligent ability, according to ground truth, does not suffice, it should be associated with innate similarity of these artificial entities. Here, we analysed multiple instances of an identical architecture trained to classify objects in static images (CIFAR and ImageNet data sets). We evaluated the performance of the networks under various distortions and compared it to the intrinsic similarity between their constituent kernels. While we expected a close correspondence between these two measures, we observed a puzzling phenomenon. Pairs of networks whose kernels' weights are over 99.9% correlated can exhibit significantly different performances, yet other pairs with no correlation can reach quite compatible levels of performance. We show implications of this for transfer learning, and argue its importance in our general understanding of what intelligence is, whether natural or artificial.

연구 동기 및 목표

• 딥 네럴 네트워크 전반에서 내재적 가중치 유사성이 성능 기능성과 관련이 있는지 조사하기 위해.
• 다른 조건에서 훈련된 동일한 아키텍처의 네트워크에서 이미지 왜곡에 대한 내성성과 가중치 유사성 간의 상관관계 평가하기 위해.
• 딥 네트워크에서 가중치 유사성이 기능 유사성을 예측한다는 가정을 도전하기 위해.
• 전이 학습 및 인공지능 및 생물학적 지능 이해에 대한 함의 탐색하기 위해.

제안 방법

• 다양한 랜덤 시드와 하이퍼파rameter를 사용해 CIFAR-10과 ImageNet에서 ResNet50의 여러 인스턴스 훈련하기.
• 각 네트워크의 성능을 여덟 가지 이미지 왜곡 유형(예: 노이즈, 대비 감소)에서 평가하여 시각적 지능 측정하기.
• 모든 합성곱 레이어에서 커널 가중치 행렬 간 피어슨 상관계수 계산하여 내재적 유사성 정량화하기.
• 미세조정된 자식 네트워크에서 직접 가중치를 부모 네트워크로 이전하여 성능 향상 테스트하기.
• 미세조정 후 가장 크게 변하는 레이어를 식별하기 위해 계층별 가중치 상관계수 분석하기.
• 리emann 기하학 기반 추론을 사용해 저수준 특징 표현이 레이어 간 어떻게 진화하는지 해석하기.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크 간 내재적 가중치 유사성이 이미지 왜곡 조건에서의 기능적 내성성 예측에 어느 정도 기여하는가?
• RQ2 왜곡 조건에서 매우 상관관계가 높은 커널을 가진 네트워크들이 동일한 집합의 왜곡에서 성능이 크게 다를 수 있는가?
• RQ3 나머지 가중치가 그대로 유지된 상태에서 단일 합성곱 레이어의 가중치만 이전해도 성능을 크게 향상시킬 수 있는가?
• RQ4 중간 수준의 합성곱 레이어는 다수의 저수준 시각적 특징의 통합 표현을 인코딩하는가?
• RQ5 커널의 내재적 유사성은 딥 네트워크의 계층적 특징 표현과 어떻게 관련이 있는가?

주요 결과

• 99.9% 이상 상관관계가 있는 커널 가중치를 가진 네트워크가 이미지 왜곡 조건에서 유의미하게 다른 성능 수준을 보이며, 기능적 행동에서 강력한 역설을 보여주었다.
• 반대로, 거의 상관관계가 없는 커널 가중치를 가진 네트워크 쌍이 모든 왜곡 유형에서 매우 유사한 성능을 달성하여, 가중치 유사성-기능성 상관관계에 대한 가정을 도전했다.
• 미세조정된 자식 네트워크의 단일 합성곱 레이어(res3c_branch2c)의 가중치만 이전하여 부모 네트워크의 시각적 지능 점수를 0.53에서 0.55로 2% 향상시켰다.
• 동일한 레이어 res3c_branch2c는 모든 후손 네트워크에서 일관된 상관계수 패턴을 보이며, 대비와 노이즈와 같은 저수준 시각적 특징의 복합 표현을 인코딩하고 있음을 시사했다.
• 자식 네트워크의 모든 합성곱 레이어 가중치를 부모 네트워크로 이전했을 때, 완전히 연결된 레이어가 그대로 유지된 상태에서도 자식 네트워크와 동일한 성능를 달성했다.
• 계층별 상관계수 분석을 통해 중간 수준의 레이어(예: res3c_branch2c)가 왜곡에 가장 민감함을 확인하여, 저수준 시각적 변형을 통합하는 핵심 기능을 수행함을 시사했다.