[논문 리뷰] Editing a classifier by rewriting its prediction rules

Shibani Santurkar, Dimitris Tsipras외 4명|arXiv (Cornell University)|2021. 12. 02.

Data Stream Mining Techniques인용 수 4

한 줄 요약

이 논문은 히든 레이어의 특징 표현을 재작성하여 분류기의 예측 규칙을 직접 편집하는 방법을 제안한다. 이는 추가적인 데이터 수집 없이도 행동을 수정할 수 있게 하며, 허위 상관관계(예: 눈 덮인 풍경을 잘못 분류하거나, 적대적 타이포그래픽 공격에 취약한 경우)로 인한 모델 실패를 단일 합성 예시를 사용해 수정함으로써 강건성과 일반화 능력을 기존 미세조정보다 크게 향상시킨다.

ABSTRACT

We present a methodology for modifying the behavior of a classifier by directly rewriting its prediction rules. Our approach requires virtually no additional data collection and can be applied to a variety of settings, including adapting a model to new environments, and modifying it to ignore spurious features. Our code is available at https://github.com/MadryLab/EditingClassifiers .

연구 동기 및 목표

• 편향된 훈련 데이터에서 비추상적이고 맥락에 의존적인 예측 규칙을 학습하는 분류기 문제를 해결하기 위해.
• 비용이 많이 들지 않는 데이터 수집 없이도 훈련 후 모델 행동을 직접적으로 효율적으로 수정할 수 있는 방법을 개발하기 위해.
• 환경 변화나 적대적 변형으로 인해 발생하는 모델 실패를 타겟으로 정확히 수정하기 위해.
• 특정 개념의 잠재 표현을 조작하여 분류기를 편집할 수 있는 확장 가능한 툴킷을 제공하기 위해.
• 도메인 이동이나 적대적 공격과 같은 실제 시나리오에서 이 방법의 유용성을 입증하기 위해.

제안 방법

• 목표 개념(예: '눈')의 표현을 특정 레이어에서 기준 개념(예: ' bitumen 도로')의 표현과 일치하도록 분류기의 가중치 행렬을 수정한다.
• 단일 합성 예시를 사용해 레이어의 가중치에 순질서 1 업데이트를 계산하여 다른 표현에 대한 간섭을 최소화한다.
• 편집 과정은 타겟 개념을 포함하지 않은 영역에서 원래 매핑을 유지하기 위해 세그멘테이션 마스크를 사용해 제약을 둔다. 이는 일반화 능력을 향상시킨다.
• 고수준 특징의 자동 탐지 가능성을 위해 사전 훈련된 인스턴스 세그멘테이션 모델(예: MS-COCO 또는 LVIS 기반)을 사용해 개념을 식별한다.
• 스타일 전이와 세그멘테이션을 조합한 개념 변환 파이프라인을 활용해 평가를 위한 다양한 대조적 이미지를 스케일러블하게 생성한다.
• 이 방법은 비전 모델(예: VGG16, ResNet)과 제로샷 모델(예: CLIP) 모두에 적용 가능하며, 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 새로운 데이터 수집 없이도 내부 표현을 직접 재작성함으로써 분류기의 예측 규칙를 수정할 수 있는가?
• RQ2 환경 변화(예: 눈)로 인한 허위 상관관계로 인한 모델 실패에 대해 이 방법이 얼마나 효과적인가?
• RQ3 이 방법은 훈련 분포를 벗어난 새로운 예시나 새로운 개념으로까지 일반화될 수 있는가?
• RQ4 개념 수준의 변형으로 인한 모델 오류 수정에서 표준 미세조정과 비교해 이 방법은 어떤가?
• RQ5 동일한 편집 프레임워크를 사용해 훈련된 모델에서 허위 예측 규칙을 탐색하고 식별할 수 있는가?

주요 결과

• 이 방법은 '도로'를 '눈'으로 바꾸는 등의 개념 수준 변형으로 유도된 모델 실패의 상당 부분을 수정하며, 일반적인 미세조정보다 성능이 뛰어나다. 특히, 미세조정은 오류를 증가시키는 경향이 있다.
• 편집 과정에서 마스크를 사용함으로써 타겟 영역 외부 영역의 원래 표현을 유지함으로써 성능 향상이 이루어지며, 이는 정규화 효과를 유도함을 시사한다.
• ImageNet과 Places365 분류기에서 개념 변형으로 인한 정확도 저하를 줄였으며, VGG16은 '삼각슬로우'에 대해 '나무'를 수정할 경우 최대 30%의 정확도 손실을 보였으나, 이 방법이 성공적으로 이를 보완했다.
• CLIP 모델에 대해 'iPod'라는 텍스트가 인쇄된 물리적 스티커에 대한 '타이포그래픽 공격'을 성공적으로 방어하였으며, 모델이 이 텍스트를 무시하도록 편집함으로써 강건성을 복원했다.
• 개념 변환 파이프라인은 대조적 이미지의 스케일러블한 생성을 가능하게 하여 모델이 특정 개념에 의존하는지, 허위 상관관계가 존재하는지 폭 드러내었다.
• 모델은 '벽화', '가을 단풍' 등의 질감 기반 변형에 대해 '목재', '금속' 등의 재질 기반 변형보다 더 민감하게 반응하는 경향을 보였으며, 이 방법은 이러한 민감도를 효과적으로 수정할 수 있었다.