[논문 리뷰] Jamming Bandits

SaiDhiraj Amuru, Cem Tekin외 2명|arXiv (Cornell University)|2014. 11. 13.

Wireless Communication Security Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 전력, 신호 방식, 케이스 온-오프 지속 시간과 같은 물리 계층 파arameter를 조정하여 적응형으로 잡음 전략을 최적화하는 새로운 다중 손잡이 밴딧 프레임워크를 사용하는 인지 잡음 장치를 소개한다. 온라인 학습 알고리즘을 제안하여 최적의 잡음 전략으로 하위선형 수렴을 달성하며, 동적인 환경에서도 높은 효율성과 낮은 에너지 소비로 뛰어난 성능을 발휘한다.

ABSTRACT

Can an intelligent jammer learn and adapt to unknown environments in an electronic warfare-type scenario? In this paper, we answer this question in the positive, by developing a cognitive jammer that adaptively and optimally disrupts the communication between a victim transmitter-receiver pair. We formalize the problem using a novel multi-armed bandit framework where the jammer can choose various physical layer parameters such as the signaling scheme, power level and the on-off/pulsing duration in an attempt to obtain power efficient jamming strategies. We first present novel online learning algorithms to maximize the jamming efficacy against static transmitter-receiver pairs and prove that our learning algorithm converges to the optimal (in terms of the error rate inflicted at the victim and the energy used) jamming strategy. Even more importantly, we prove that the rate of convergence to the optimal jamming strategy is sub-linear, i.e. the learning is fast in comparison to existing reinforcement learning algorithms, which is particularly important in dynamically changing wireless environments. Also, we characterize the performance of the proposed bandit-based learning algorithm against multiple static and adaptive transmitter-receiver pairs.

연구 동기 및 목표

• 알 수 없는 전자전 환경에 적응하여 학습할 수 있는 인지 잡음 장치를 개발하는 것.
• 물리 계층 파arameter를 암수로 사용하여 잡음 문제를 다중 손잡이 밴딧 문제로 수식화하는 것.
• 잡음 효율성을 극대화하고 에너지 소비를 최소화하는 온라인 학습 알고리즘을 설계하는 것.
• 최적 전략으로의 수렴 속도가 하위선형인 것을 증명하여, 동적인 무선 환경에서의 신속한 적응을 보장하는 것.
• 정적 및 적응형 송수신기 쌍에 대해 성능을 평가하는 것.

제안 방법

• 손잡이가 물리 계층 파arameter 조합(전력, 신호 방식, 케이스 온-오프 지속 시간)에 해당하는 다중 손잡이 밴딧 문제로 잡음 문제를 수식화하는 것.
• 최적의 잡음 전략을 식별하기 위해 탐색과 이용의 균형을 이루는 온라인 학습 알고리즘을 설계하는 것.
• 오차율 및 에너지 효율성 측면에서 최적 전략으로의 수렴을 보장하기 위해 손실 최소화 기법을 사용하는 것.
• 최적 전략으로의 수렴 속도가 하위선형인 것을 증명하여, 표준 강화 학습 대비 더 빠른 학습을 가능하게 하는 것.
• 다양한 정적 및 적응형 송수신기 쌍에 대해 성능을 평가하기 위해 프레임워크를 확장하는 것.
• 다양한 환경 조건에서 밴딧 기반 학습 알고리즘의 성능을 특성화하는 것.

실험 결과

연구 질문

• RQ1 인지 잡음 장치는 알 수 없는 무선 환경에서 최적의 잡음 전략을 학습할 수 있는가?
• RQ2 다중 손잡이 밴딧 프레임워크에서 온라인 학습을 사용할 경우 잡음 장치는 최적 전략으로 얼마나 빨리 수렴하는가?
• RQ3 제안된 알고리즘은 다수의 정적 및 적응형 송수신기 쌍에 대해 어떤 성능을 보이는가?
• RQ4 하위선형 수렴 속도는 동적인 무선 환경에서의 적응성 향상에 어떻게 기여하는가?
• RQ5 에너지 효율적인 잡음에 가장 효과적인 물리 계층 파arameter는 무엇인가?

주요 결과

• 제안된 온라인 학습 알고리즘이 하위선형 수렴 속도로 최적의 잡음 전략으로 수렴함을 확인하여, 빠른 학습이 가능함을 입증하였다.
• 알고리즘은 에너지 소비를 최소화하면서도 높은 잡음 효율성을 달성하여 오차율과 전력 효율성을 모두 최적화하였다.
• 프레임워크는 일관된 성능 향상을 보이며 다수의 정적 송수신기 쌍으로 일반화에 성공하였다.
• 피해자 시스템이 전송 파arameter를 적응적으로 조정하더라도 알고리즘이 강력한 성능을 유지하였다.
• 하위선형 수렴 속도는 표준 강화 학습 방법보다 동적인 환경에서 더 빠른 적응을 보장한다.
• 밴딧 기반 접근법은 환경이나 피해자 시스템 행동에 대한 사전 지식 없이도 효과적이고 적응적인 잡음을 가능하게 하였다.