[논문 리뷰] Natural Language Descriptions of Deep Visual Features

Evan Hernandez, Sarah Schwettmann외 4명|arXiv (Cornell University)|2022. 01. 26.

Cell Image Analysis Techniques인용 수 18

한 줄 요약

이 논문은 깊이 신경망 내 개별 뉴런에 대해 인간이 애너테이션한 이미지 영역 기술서와 뉴런 활성화 패턴 간의 점상 상호정보량(pointwise mutual information)을 최대화함으로써 자동으로 세밀하고 자연어 기반의 기술서를 생성하는 메서드인 milan을 소개한다. 이 방법은 시각 모델의 분석, 감시 및 편집을 가능하게 하여, 허위 텍스트 특징에 민감한 뉴런을 식별하고 제거함으로써 적대적 테스트 세트에서 오류율을 12% 감소시켜 강건성을 크게 향상시킨다.

ABSTRACT

Some neurons in deep networks specialize in recognizing highly specific perceptual, structural, or semantic features of inputs. In computer vision, techniques exist for identifying neurons that respond to individual concept categories like colors, textures, and object classes. But these techniques are limited in scope, labeling only a small subset of neurons and behaviors in any network. Is a richer characterization of neuron-level computation possible? We introduce a procedure (called MILAN, for mutual-information-guided linguistic annotation of neurons) that automatically labels neurons with open-ended, compositional, natural language descriptions. Given a neuron, MILAN generates a description by searching for a natural language string that maximizes pointwise mutual information with the image regions in which the neuron is active. MILAN produces fine-grained descriptions that capture categorical, relational, and logical structure in learned features. These descriptions obtain high agreement with human-generated feature descriptions across a diverse set of model architectures and tasks, and can aid in understanding and controlling learned models. We highlight three applications of natural language neuron descriptions. First, we use MILAN for analysis, characterizing the distribution and importance of neurons selective for attribute, category, and relational information in vision models. Second, we use MILAN for auditing, surfacing neurons sensitive to human faces in datasets designed to obscure them. Finally, we use MILAN for editing, improving robustness in an image classifier by deleting neurons sensitive to text features spuriously correlated with class labels.

연구 동기 및 목표

• 깊이 신경망 내 개별 뉴런에 대해 표현력 있고 개방형의 자연어 기술서를 자동으로 레이블링하는 방법을 개발하는 것.
• 고정된 사전 정의된 레이블 세트에 의존하는 기존의 뉴런 레이블링 기법의 한계를 극복하여 새로운 또는 복잡한 뉴런 행동을 탐지할 수 있도록 하는 것.
• 시각적 특징 내에서 범주형, 관계형, 논리적 구조를 포함한 세밀한 뉴런 기능 특성화를 가능하게 하는 것.
• 뉴런 중요도 분석, 인구 통계적 민감성 감시, 허위 상관관계를 완화하기 위한 모델 편집과 같은 모델 해석성 응용을 지원하는 것.
• 다양한 아키텍처, 특히 CNN 및 비전 트랜스포머를 포함한 다양한 모델 아키텍처에서 작동하는 모델에 종속되지 않는 프레임워크를 구축하는 것. 이는 애너테이션 분포와 다른 데이터로 훈련된 모델에도 적용 가능하다.

제안 방법

• milan은 뉴런 활성화 패턴과 이미지 영역 기술서 간의 점상 상호정보량(PMI)을 최대화하는 자연어 기술서를 찾는 문제로 뉴런 레이블링을 정식화한다.
• 세밀한 인간 기반 이미지 영역 기술서를 포함하는 새로운 데이터셋인 milannotations를 수집하여, p(기술서 | 예시들) 및 p(기술서)를 추정하는 모델을 훈련한다.
• 각 뉴런에 대해 활성화되는 이미지 영역의 대표 집합(예시들)을 식별한 후, 이러한 예시들과 높은 PMI를 달성하는 기술서를 검색한다.
• 이 방법은 모델에 종속되지 않으며, CNN 내의 컨volutional 유닛, 비전 트랜스포머의 풀 커넥티드 유닛, 그리고 다양한 아키텍처의 다른 레이어에 적용 가능하다.
• 이 방법은 언어와 시각적 특징 분포의 학습된 모델을 활용하여, 복잡한 뉴런 행동 패턴을 잘 포착하는 특정성과 구성성 모두를 갖춘 기술서를 생성한다.
• 특정한, 잠재적으로 해로운 행동을 보이는 뉴런을 식별하고 제거함으로써 뉴런 분석, 민감한 특징 감시, 모델 편집 등의 후행 작업을 지원한다.

실험 결과

연구 질문

• RQ1 깊이 신경망 내 개별 뉴런에 대해 rich하고 개방형이며 구성적인 자연어 기술서를 자동으로 생성할 수 있는가?
• RQ2 이러한 기술서는 시각적 표현 내에서 관계형 또는 논리적 구조와 같은 복잡한 세밀한 특징을 포착할 수 있는가?
• RQ3 이러한 기술서는 시각 모델 내에서 허위 상관관계(예: 텍스트 특징에 의존하는 것)를 식별하고 완화하는 데 사용될 수 있는가?
• RQ4 특히 익명화된 데이터로 훈련된 모델에 대해, 이 방법은 인구 통계적 민감성 감시에 얼마나 효과적인가?
• RQ5 생성된 기술서는 강건성과 일반화 능력을 향상시키기 위해 의미 있는 모델 편집을 이끌 수 있는가?

주요 결과

• milan은 허위 텍스트 레이블이 포함된 데이터셋으로 훈련된 ResNet18 모델에서 300개의 텍스트 관련 컨볼루션 유닛을 성공적으로 식별하여, 모델가 텍스트 인식에 상당한 용량을 할애하고 있음을 확인했다.
• 이러한 텍스트에 민감한 뉴런 13개를 제거하기만 해도 적대적 테스트 세트에서 테스트 정확도가 4.9%p 향상되었으며, 이는 오류율 12% 감소에 해당한다.
• 이 향상은 텍스트 민감성 뉴런 제거에 특화되어 있다: 뉴런 중요도 순서로 정렬하여 제거했을 때, 모든 뉴런을 고려한 경우 정확도 향상은 1% 미만이었으며, 이는 해로운 특징을 정밀하게 식별할 수 있음을 보여준다.
• 생성된 기술서는 다양한 모델 아키텍처와 작업에서 인간이 작성한 기술서와 높은 일치도를 보이며, 그 해석 가능성과 품질을 검증한다.
• 이 방법은 익명화된 데이터로 훈련된 모델에 대해 효과적인 감시를 가능하게 하여, 데이터 오버플레이션에도 인간 얼굴에 민감한 뉴런을 드러냈다.
• 이 방법은 특히 분포 외부 데이터에서 성능이 떨어지는 허위 상관관계(예: 텍스트 특징)를 완화하기 위해 모델 편집에 실용적인 유용성을 보였다.