[논문 리뷰] What do Deep Networks Like to Read?

Jonas Pfeiffer, Aishwarya Kamath외 2명|arXiv (Cornell University)|2019. 09. 10.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 SIFT(Susceptibility Identification through Fine-tuning)를 소개한다. SIFT는 고정된 분류기의 기울기를 사용하여 오토인코더를 미세조정함으로써 NLP에서 딥 네트워크의 선호도를 밝혀내는 새로운 개방형 방법이다. 이는 사전 가정 없이 모델 고유의 경향성과 잔여물(예: 편향을 유도하는 용어)을 드러내며, 알려진 데이터 잔여물과 강한 상관관계를 보이며 여러 모델과 작업에서 새로운 잔여물까지도 발견한다.

ABSTRACT

Recent research towards understanding neural networks probes models in a top-down manner, but is only able to identify model tendencies that are known a priori. We propose Susceptibility Identification through Fine-Tuning (SIFT), a novel abstractive method that uncovers a model's preferences without imposing any prior. By fine-tuning an autoencoder with the gradients from a fixed classifier, we are able to extract propensities that characterize different kinds of classifiers in a bottom-up manner. We further leverage the SIFT architecture to rephrase sentences in order to predict the opposing class of the ground truth label, uncovering potential artifacts encoded in the fixed classification model. We evaluate our method on three diverse tasks with four different models. We contrast the propensities of the models as well as reproduce artifacts reported in the literature.

연구 동기 및 목표

• 추출적 근거나 사전 정의된 탐색 작업을 초월해 신경망 선호도를 이해하는 데 미치는 격차를 해소하기 위해.
• 사전 지식을 도입하지 않고도 분류기가 본질적으로 '읽기를 좋아하는' 것을 드러내는 바닥에서부터 시작하는, 개방형 방법을 개발하기 위해.
• 통합 프레임워크를 사용해 사전 학습된 분류기에 인코딩된 모델 고유의 편향과 잔여물을 식별하고 분석하기 위해.
• 다양한 아키텍처(LSTM, CNN, DAN)와 작업(감성 분석, NLI, PubMed 분류) 간의 모델 선호도를 비교하기 위해.
• 이론적으로는, 인코딩된 잔여물을 목표로 삼아 분류기의 예측을 뒤집는 반대사실 입력을 생성할 수 있는지 평가하기 위해.

제안 방법

• 직렬 전이 Gumbel-Softmax 추정기를 통해 고정된 사전 학습된 분류기의 기울기를 사용하여 오토인코더(AE)를 미세조정한다.
• 분류기가 유용하다고 간주하는 정보만 유지하도록 AE를 사용해 입력 시퀀스를 재구성함으로써, 분류기의 선호도를 드러낸다.
• 문장 수준 및 문장 쌍 분류 작업(SST-2, SNLI, PubMed 등)에 이 방법을 적용하여 모델 선호도를 추출한다.
• 원본과 생성된 문장 임베딩 간의 코사인 거리가 크지 않도록 하는 재구성 손실을 도입하여 일관성을 확보한다.
• 미세조정 중 진짜 레이블을 뒤집어, 분류기가 반대 클래스를 예측하도록 하는 입력을 생성함으로써, 인코딩된 잔여물을 드러낸다.
• PMI(일반 상호정보량)에서 추출된 용어와 SIFT에서 추출된 용어를 비교하여, 데이터 수준의 잔여물과의 일치도를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 신경망 아키텍처가 예측을 내릴 때 어떤 언어 패턴이나 용어를 선호하는가?
• RQ2 분류기가 예측에 영향을 주는 데이터 수준의 잔여물(예: 특정 단어나 어구)을 어느 정도로 인코딩하는가?
• RQ3 SIFT와 같은 개방형 비지도 방법이 사전 가정 없이 모델 고유의 편향과 선호도를 드러낼 수 있는가?
• RQ4 SIFT가 생성한 반대사실 입력이 이전 연구에서 보고된 알려진 잔여물과 얼마나 잘 일치하는가?
• RQ5 기존의 통계적 방법(예: PMI)으로는 발견되지 않은 새로운 잔여물을 SIFT가 드러내는가?

주요 결과

• SIFT는 LSTM 모델이 '사랑한다' 또는 '나쁘다'와 같은 감성 어휘를 선호하는 등 아키텍처에 따라 관련된 모델 고유의 선호도를 성공적으로 식별했다.
• SST-2 감성 분석 작업에서 SIFT 용어는 PMI 용어와 가중 키티의 타우 상관계수 0.486을 보이며, 알려진 데이터 수준의 잔여물과의 일치를 나타냈다.
• PubMed 분류 작업에서 SIFT는 '목적' → '결론'과 같이 문맥적으로 관련된 용어를 발견했으며, 이는 PMI와 상관관계가 없어 사전 학습 과정에서 유도된 더 깊은 의미적 패턴의 인코딩을 시사했다.
• SNLI 작업에서 SIFT는 '자고 있는', '고양이', '고양이'와 같은 알려진 잔여물을 식별했으며, PMI와의 상관계수 0.366를 보여, 기존 편향에 민감함을 확인했다.
• 반전 레이블 설정에서 SIFT는 분류기의 예측을 뒤집는 입력을 98–99%의 정확도로 생성했으며, 이는 모델 행동을 유도하는 데의 효과성을 입증했다.
• SIFT는 모델이 표면적 키워드뿐 아니라 의미적·맥락적 신호도 사전 학습된 대규모 비라벨 데이터에서 인코딩하고 있음을 드러냈다.