[논문 리뷰] One word at a time: adversarial attacks on retrieval models

Nisarg Raval, Manisha Verma|arXiv (Cornell University)|2020. 08. 05.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 6

한 줄 요약

이 논문은 문서 텍스트에 의미적으로 유사하고 최소한의 교란을 가하는 공격 프레임워크를 제안한다. 이는 단지 1~3개의 토큰만 변경하여 딥러닝 검색 모델의 랭킹 성능을 심각하게 떨어뜨린다. 의미적으로 유사한 대체어로 단어를 교체함으로써, 의미는 그대로 유지하면서 관련 문서의 순위를 몇 단계 낮춘다. 이는 최신 랭킹 모델이 미세하고 눈에 띄지 않는 변화에 매우 민감하다는 것을 보여준다.

ABSTRACT

Adversarial examples, generated by applying small perturbations to input features, are widely used to fool classifiers and measure their robustness to noisy inputs. However, little work has been done to evaluate the robustness of ranking models through adversarial examples. In this work, we present a systematic approach of leveraging adversarial examples to measure the robustness of popular ranking models. We explore a simple method to generate adversarial examples that forces a ranker to incorrectly rank the documents. Using this approach, we analyze the robustness of various ranking models and the quality of perturbations generated by the adversarial attacker across two datasets. Our findings suggest that with very few token changes (1-3), the attacker can yield semantically similar perturbed documents that can fool different rankers into changing a document's score, lowering its rank by several positions.

연구 동기 및 목표

• 정보 검색 분야에서 딥러닝 랭킹 모델이 적대적 공격에 얼마나 견고한지 평가하기 위해.
• 최소한의 의미적으로 일관된 텍스트 변경을 통해 문서 랭킹을 조작할 수 있는 블랙박스 공격 방법을 개발하기 위해.
• 표준 메트릭인 P@5와 같은 메트릭을 사용해 적대적 교란이 검색 효과성에 어떤 영향을 미치는지 측정하기 위해.
• 질의어를 수정하는 공격자와 문서어를 수정하는 공격자가 어느 쪽이 더 효과적이고 더 감지되기 어려운지 분석하기 위해.
• 다양한 공격 전략 하에서 원본 문서와 교란된 문서 간의 의미 유사도를 분석하기 위해.

제안 방법

• 공격 프레임워크는 블랙박스 설정을 사용하며, 내부 아키텍처를 알 필요 없이 모델의 (질의, 문서) 쌍 출력만 필요로 한다.
• 세 가지 공격 변형(A1, A2, A3)을 제안한다: A1은 문서 토큰을 수정하며, A2는 변경을 질의어로 제한하고, A3는 질의어를 수정하지 않으면서도 랭킹을 낮춘다.
• 교란은 단어 임베딩에서 의미적으로 유사한 단어로 토큰을 교체함으로써 생성되며, 전체 의미는 유지된다.
• 원본 문서와 교란된 문서 간의 의미 유지 정도는 코사인 유사도를 사용해 측정된다.
• 모델의 견고성은 P@5를 사용해 평가되며, 원본 문서 점수를 교란된 점수로 대체하고 재계산한 정밀도를 기반으로 한다.
• 이 방법은 두 개의 공개 데이터셋인 MSMarco와 WikiQA에서 평가되었으며, 세 가지 최신 랭킹 모델인 DRMM, Duet, KNRM을 사용했다.

실험 결과

연구 질문

• RQ1 최소한의 의미적으로 일관된 교란을 문서 텍스트에 가해도 딥러닝 검색 모델에서 관련 문서의 랭킹을 심각하게 떨어뜨릴 수 있는가?
• RQ2 예를 들어 문서 토큰을 수정하는 것과 질의 토큰을 수정하는 것과 같은 다양한 공격 전략은 얼마나 작은 변경으로도 문서 랭킹을 낮추는 데 효과적인가?
• RQ3 적대적 공격 하에서 원본 문서와 교란된 문서 간의 의미 유사도는 어느 정도 유지되는가?
• RQ4 DRMM, Duet, KNRM와 같은 다양한 랭킹 모델은 적대적 교란에 대해 어떻게 다른 견고성을 보이는가?
• RQ5 다양한 데이터셋에서 표준 검색 메트릭인 P@5에 대해 적대적 교란이 어떤 영향을 미치는가?

주요 결과

• 단 한 개의 토큰 교란만으로도 관련 문서가 랭크된 목록에서 4~12개의 순위까지 밀릴 수 있으며, 이는 표 1에서 확인할 수 있다.
• 원본 문서와 교란된 문서 간의 코사인 유사도는 한 단어 변경 후에도 약 0.97로 높게 유지되어 의미 유지 정도가 높음을 시사한다.
• 다섯 단어의 교란이 이루어지면 코사인 유사도는 약 0.90으로 떨어지며, 이는 교란 크기와 의미 충실도 사이의 상충 관계를 보여준다.
• 문서 토큰을 수정하는 A1 공격자는 랭킹 하락 효과가 가장 크며, 특히 MSMarco에서 DRMM의 경우 한 토큰 변경으로 P@5가 최대 50% 감소한다.
• 질의어를 수정하지 않는 A3 공격자는 A1과 유사한 랭킹 하락 효과를 달성하지만, 의미 유사도 저하가 덜하여 더 은밀한 공격으로 간주된다.
• 기본 P@5 점수가 높은 모델(예: MSMarco에서의 DRMM)은 더 견고하며, 가장 효과적인 공격에서도 P@5가 50% 감소하는 것으로 나타나, 모델 성능과 적대적 견고성 간의 상관관계가 있음을 보여준다.