[논문 리뷰] Adversarial Training as Stackelberg Game: An Unrolled Optimization Approach.

Simiao Zuo, Liang Chen외 6명|arXiv (Cornell University)|2021. 04. 11.

Topic Modeling참고 문헌 59인용 수 5

한 줄 요약

이 논문은 스택엘베르그 게임으로 모델링된 훈련 과정을 기반으로 하는 새로운 적대적 훈련 프레임워크인 스택엘베르그 적대적 훈련(SALT)을 제안한다. 여기서 모델 트레이너(리더)는 적대자의 변형 전략을 예측한다. 비틀림 최적화 방법을 사용하여 스택엘베르그 기울기를 계산함으로써 SALT은 모델 일반화 능력을 향상시키고 기계 번역 및 자연어 이해와 같은 다양한 NLP 작업에서 기존 베이스라인을 능가한다.

ABSTRACT

Adversarial training has been shown to improve the generalization performance of deep learning models in various natural language processing tasks. Existing works usually formulate adversarial training as a zero-sum game, which is solved by alternating gradient descent/ascent algorithms. Such a formulation treats the adversarial and the defending players equally, which is undesirable because only the defending player contributes to the generalization performance. To address this issue, we propose Stackelberg Adversarial Training (SALT), which formulates adversarial training as a Stackelberg game. This formulation induces a competition between a leader and a follower, where the follower generates perturbations, and the leader trains the model subject to the perturbations. Different from conventional adversarial training, in SALT, the leader is in an advantageous position. When the leader moves, it recognizes the strategy of the follower and takes the anticipated follower's outcomes into consideration. Such a leader's advantage enables us to improve the model fitting to the unperturbed data. The leader's strategic information is captured by the Stackelberg gradient, which is obtained using an unrolling algorithm. Our experimental results on a set of machine translation and natural language understanding tasks show that SALT outperforms existing adversarial training baselines across all tasks.

연구 동기 및 목표

• 기존의 적대적 훈련 방법이 적대자와 방어자 모두를 대칭적으로 취급함에도 불구하고, 일반화에 기여하는 것은 방어자 뿐이라는 한계를 해결하기 위해.
• 방어자(리더)가 적대자(팔로워)의 전략을 예측하고 전략적으로 행동하는 스택엘베르그 게임으로 적대적 훈련을 모델링하기 위해.
• 스택엘베르그 프레임워크에서 리더의 전략적 우위를 활용하여 원본 데이터에 대한 모델 피팅을 향상시키기 위해.
• 비틀림 최적화를 사용하여 팔로워의 행동에 대한 리더의 예측된 반응을 포착하는 훈련 방법을 개발하기 위해.
• 다양한 NLP 작업에서 기존의 적대적 훈련 베이스라인을 초월하는 일관된 성능 향상을 입증하기 위해.

제안 방법

• 모델 트레이너를 리더로, 적대자를 팔로워로 하는 스택엘베르그 게임으로 적대적 훈련을 공식화하기 위해.
• 팔로워의 변형 생성을 리더의 모델 파라미터에 대한 반응으로 모델링하고, 리더가 이에 대한 반응을 예측하기 위해.
• 비틀림 알고리즘을 사용하여 스택엘베르그 기울기를 계산하여, 팔로워가 리더의 현재 전략에 대해 최적의 반응을 보일 것을 반영하기 위해.
• 비틀림 기울기를 사용하여 리더의 모델 파라미터를 업데이트하여, 향후 변형의 영향을 예측한 영향을 포함하기 위해.
• 비틀림 기울기를 훈련 루프에 통합하여 최적화 과정에서 리더의 전략적 적응을 가능하게 하기 위해.
• 표준 훈련 목표를 유지하지만, 스택엘베르그 프레임워크의 리더-팔로워 역학을 반영하도록 기울기 계산을 수정하기 위해.

실험 결과

연구 질문

• RQ1 스택엘베르그 게임로 모델링한 적대적 훈련이 제로섬 게임 공식화에 비해 모델 일반화를 향상시키는가?
• RQ2 리더가 팔로워의 변형 전략을 전략적으로 예측함으로써 원본 데이터에서의 모델 성능에 어떤 영향을 미치는가?
• RQ3 스택엘베르그 프레임워크에서 비틀림 최적화를 사용할 경우 NLP 작업에서 더 나은 강건성과 정확도를 달성하는가?
• RQ4 SALT은 다양한 NLP 벤치마크에서 기존의 적대적 훈련 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ5 스택엘베르그 게임에서 리더의 우위를 효과적으로 활용하여 강건성에 손상을 주지 않고도 모델 피팅을 향상시킬 수 있는가?

주요 결과

• SALT은 평가된 모든 기계 번역 및 자연어 이해 작업에서 기존의 적대적 훈련 베이스라인을 능가한다.
• 제안된 스택엘베르그 공식화는 리더가 적대적 변형에 더 효과적으로 예측하고 대응함으로써 일반화 능력을 향상시킨다.
• 비틀림 최적화 방법은 팔로워의 최적 반응을 성공적으로 포착하여 리더가 정보 기반의 전략적 업데이트를 수행할 수 있도록 한다.
• 게임 이론적 프레임워크에서 리더의 전략적 우위를 활용하여 원본 데이터에 대한 모델 피팅을 향상시킨다.
• 실증 결과는 강건성과 정확도 모두에서 제로섬 게임 기반의 적대적 훈련 방법에 비해 일관된 성능 향상을 입증한다.
• 이 프레임워크는 다양한 NLP 작업에서 효과적이므로 제안된 접근법의 광범위한 적용 가능성과 강건성을 시사한다.