[논문 리뷰] First is Better Than Last for Language Data Influence

Chih‐Kuan Yeh, Ankur Taly외 3명|arXiv (Cornell University)|2022. 02. 24.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 마지막 레이어가 아닌 단어 임베딩 레이어의 기울기를 사용하여 영향도 점수를 계산하는 TracIn-WE라는 데이터 영향도 방법을 제안한다. 이는 기존 방법에서 성능을 저하시키는 取消화 효과를 완화한다. TracIn-WE는 NLP 분류 작업 전반에서 사례 삭제 평가에서 마지막 레이어 방법보다 뚜렷하게 뛰어나며, 성능을 4–10배 향상시키며, 모델 디버깅을 위한 향상된 단어 수준의 영향도 분해를 가능하게 한다.

ABSTRACT

The ability to identify influential training examples enables us to debug training data and explain model behavior. Existing techniques to do so are based on the flow of training data influence through the model parameters. For large models in NLP applications, it is often computationally infeasible to study this flow through all model parameters, therefore techniques usually pick the last layer of weights. However, we observe that since the activation connected to the last layer of weights contains "shared logic", the data influenced calculated via the last layer weights prone to a ``cancellation effect'', where the data influence of different examples have large magnitude that contradicts each other. The cancellation effect lowers the discriminative power of the influence score, and deleting influential examples according to this measure often does not change the model's behavior by much. To mitigate this, we propose a technique called TracIn-WE that modifies a method called TracIn to operate on the word embedding layer instead of the last layer, where the cancellation effect is less severe. One potential concern is that influence based on the word embedding layer may not encode sufficient high level information. However, we find that gradients (unlike embeddings) do not suffer from this, possibly because they chain through higher layers. We show that TracIn-WE significantly outperforms other data influence methods applied on the last layer significantly on the case deletion evaluation on three language classification tasks for different models. In addition, TracIn-WE can produce scores not just at the level of the overall training input, but also at the level of words within the training input, a further aid in debugging.

연구 동기 및 목표

• 대규모 NLP 모델에서 마지막 레이어 가중치를 사용할 경우 영향도 방법의 취소 효과가 분류 성능을 저하시키는 문제를 해결하기 위해.
• 최종 레이어에서 단어 임베딩 레이어로 영향도 계산을 이동시켜 NLP에서의 영향도 추정의 스케일러빌리티와 정확도를 향상시키기 위해.
• 모델 예측의 미세 조절 가능한 디버깅을 위해 단어 수준의 영향도 분해를 가능하게 하기 위해.
• 학습 예제와 테스트 예제 간 공통 단어가 거의 없는 저중복 설정에서 영향도 방법의 강건성을 평가하기 위해.
• 모델의 잘못된 분류를 수정하기 위한 영향 기반 훈련 데이터 정제의 효과성을 입증하기 위해.

제안 방법

• 마지막 레이어 대신 단어 임베딩 레이어의 기울기를 사용하여 영향도를 계산하는 TracIn의 변종인 TracIn-WE를 제안하여 취소 효과를 감소시킨다.
• 학습 예제와 테스트 예제 간 공통 단어의 단어 임베딩 기울기 유사도의 합을 영향도 점수로 사용한다.
• 고차원 레이어를 통해 기울기 역전파를 활용하여, 임베딩 레이어에서 작업함에도 불구하고 고수준의 의미 정보를 유지한다.
• 임베딩 기울기에서 각 단어의 영향도 점수를 계산하여 단어 수준의 영향도 분해를 가능하게 한다.
• TracIn-WE 점수를 기반으로 가장 영향력이 큰 훈련 예제 상위-k개를 제거하거나, 가장 영향력이 큰 단어를 [PAD]로 대체하여 모델의 잘못된 예측을 수정한다.
• 저중복 실험에서는 훈련 중에 고정된 단어 임베딩을 사용하여 어휘 중복 외부의 의미 유사성의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 NLP 모델에서 마지막 레이어 대비 단어 임베딩 레이어에서 영향도 계산을 수행할 경우, 취소 효과가 감소하는가?
• RQ2 학습 예제와 테스트 예제 간 어휘 중복 없이 단어 임베딩 기반 영향도 점수가 고수준의 의미 관계를 포착할 수 있는가?
• RQ3 여러 NLP 작업에서 사례 삭제 평가에서 TracIn-WE는 마지막 레이어 기반 영향도 방법보다 어떻게 비교되는가?
• RQ4 TracIn-WE는 모델 예측의 단어 수준 디버깅을 어느 정도 가능하게 하는가?
• RQ5 TracIn-WE 기반 데이터 정제는 정확도 저하를 최소화하면서 모델의 잘못된 분류를 효과적으로 수정할 수 있는가?

주요 결과

• TracIn-WE는 독성, AGnews, MNLI 작업에서 마지막 레이어 기반 영향도 방법 대비 사례 삭제 성능을 4–10배 향상시켰다.
• 고정된 단어 임베딩을 사용하는 0-중복 설정에서도 TracIn-WE 변종이 마지막 레이어 방법을 능가하여, 어휘 중복 없이 의미 유사성에 대한 강건성을 입증했다.
• TracIn-WE는 단어 수준의 영향도 분해를 가능하게 하여, 훈련 예제에서 가장 영향력이 큰 단어를 특정할 수 있다.
• TracIn-WE를 사용해 상위-k개의 가장 영향력 있는 훈련 예제 50개를 제거하면 오류 수정 비율이 73%에 달하며, 마지막 레이어 방법은 33%에 그친다.
• TracIn-WE를 사용해 상위-200개의 상대방 예제에서 가장 부정적인 영향을 미친 단어를 대체하면 실수 수정 비율이 70%에 달하며, 마지막 레이어 방법은 30%에 그친다.
• 대상 제거 후 모델 정확도는 0.02% 미만으로 떨어져, 데이터 정제 과정에서의 성능 저하가 미미함을 시사한다.