[논문 리뷰] Input Similarity from the Neural Network Perspective

Guillaume Charpiat, Nicolas Girard외 2명|arXiv (Cornell University)|2021. 02. 10.

Neural Networks and Applications인용 수 28

한 줄 요약

이 논문은 뉴럴 네트워크-주도(input similarity) 개념을 정의하고 그것의 수학적 특성을 분석한 뒤, 이를 이용해 샘플 밀도를 추정하고 노이즈 라벨하에서의 자기-잡음 제거(self-denoising)를 연구합니다. 또한 학습 중 유사성 강제화와 원격 감지 이미지 정합과 같은 실용적 응용에 대해 탐구합니다.

ABSTRACT

We first exhibit a multimodal image registration task, for which a neural network trained on a dataset with noisy labels reaches almost perfect accuracy, far beyond noise variance. This surprising auto-denoising phenomenon can be explained as a noise averaging effect over the labels of similar input examples. This effect theoretically grows with the number of similar examples; the question is then to define and estimate the similarity of examples. We express a proper definition of similarity, from the neural network perspective, i.e. we quantify how undissociable two inputs $A$ and $B$ are, taking a machine learning viewpoint: how much a parameter variation designed to change the output for $A$ would impact the output for $B$ as well? We study the mathematical properties of this similarity measure, and show how to use it on a trained network to estimate sample density, in low complexity, enabling new types of statistical analysis for neural networks. We analyze data by retrieving samples perceived as similar by the network, and are able to quantify the denoising effect without requiring true labels. We also propose, during training, to enforce that examples known to be similar should also be seen as similar by the network, and notice speed-up training effects for certain datasets.

연구 동기 및 목표

• 입력이 매개변수 업데이트를 통해 서로 어떻게 영향을 주는지 반영하는 고유한 네트워크 중심의 입력 유사성 개념 정의
• vanilla 및 매개변수 공유 네트워크의 유사성 측정 지표의 수학적 특성 분석
• 훈련된 네트워크로부터 샘플 이웃을 정량화하는 빠르고 낮은 복잡도의 추정기 개발
• 유사성 측정이 라벨 노이즈 하의 자기 잡음 제거 효과를 정량화하는 방법 시연
• 학습 속도를 높이고 견고성을 개선하기 위한 학습 시 유사성 강제화의 효과 조사
• 노이얼 레벨의 라벨이 포함된 원격 sensing 이미지 정합 문제에 대해 프레임워크 적용

제안 방법

• 유사성을 한 입력이 다른 입력에 미치는 영향으로 정의하여 파라미터 업데이트를 통해 얻은 커널: k^N_theta(x,x') = (∇_θ f_θ(x) · ∇_θ f_θ(x')) / ||∇_θ f_θ(x)||^2
• 대칭적이고 한정된 상관 커널 k^C_theta(x,x') = (∇_θ f_θ(x)/||∇_θ f_θ(x)||) · (∇_θ f_θ(x')/||∇_θ f_θ(x')||
• 출력 차원을 더 큰 차원으로 확장한 커널 K_theta와 그 정규화 변형 K^C_theta; k^C_theta(x,x') = (1/d) Tr K^C_theta(x,x') 정의
• 출력 1D일 때 선형 시간 복잡도에서의 빠른 밀도 추정기 N_S(x) = sum_{x'} k^C_theta(x,x')(및 더 높은 d로의 확장 가능)
• 출력 값이 확률적일 때 단순화된 이진 관점과 Fisher 정보와의 연결을 통한 분류 논의
• 더미 역전파(double backpropagation)로 계산적 측면을 분석하고, -k^C_theta(x,x')에 비례하는 손실 항을 추가하여 학습 시 유사성 강화를 검토

실험 결과

연구 질문

• RQ1 신경망에 고유한 입력 유사성의 정확한 정의는 무엇이며, 그것을 그래디언트로부터 어떻게 계량할 수 있는가
• RQ2 이 유사성이 샘플 밀도 및 노이즈 라벨하에서의 네트워크의 잡음 제거 동작과 어떤 관련이 있는가
• RQ3 제안된 유사성 측정을 사용해 이웃 수와 밀도를 효율적으로 추정할 수 있는가
• RQ4 학습 중 유사성 강제화의 효과와 잠재적 이점은 무엇인가
• RQ5 노이즈가 있는 주석이 있는 실제 작업(예: 원격 감지 이미지 정합)을 분석하고 개선하는 데 유사성 프레임워크를 어떻게 적용할 수 있는가

주요 결과

• 기울기 기반의 유사성 측정치(k^C_theta)는 의미 있고 대칭적인 입력 유사성의 개념을 [-1,1] 구간으로 제한되며 네트워크의 동작에 근거를 둔다
• 프레임워크는 노이즈 라벨 하에서의 학습 시 유사한 입력이 정렬된 출력과 분산 감소를 초래하여 자기 잡음 제거 효과를 설명하고 정량화한다
• 빠른 추정기(N_S)는 1D 출력에 대해 선형 시간으로 이웃 밀도를 계산하며, 더 높은 출력에 대해서도 modest한 복잡도로 확장 가능
• 유사성 통계는 학습 라운드가 입력 이웃을 어떻게 변화시키는지 보여주며 학습 중 입력의 판별 가능성이 진화함을 시사
• 학습 중 유사성 강제화는 특정 데이터셋에서 수렴 속도를 높이고 학습 역학에 영향을 줄 수 있다
• 이 접근법은 원격 sensing 이미지 정합 문제에 적용되어 네트워크가 인지하는 유사성이 지각 손실 기준을 넘어서 직관적인 이웃 구조와 일치함을 보인다